使用phpQuery采集网页的方法-phpQuery占用内存过多的处理方...-PHP反射类ReflectionClass和ReflectionObject的使用方法

当前位置: 编程技术>php

本页文章导读:

▪使用phpQuery采集网页的方法 phpQuery是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面.........

▪phpQuery占用内存过多的处理方法 phpQuery是一个用php实现的类似jQuery的开源项目，可以在服务器端以jQuery的语法形式解析网页元素。相对于正则或其它方式匹配网页方式，phpQuery使用起来要方便的多。在使用phpQuery采集网页.........

▪PHP反射类ReflectionClass和ReflectionObject的使用方法 PHP中的扩展反射类，该扩展用来分析php程序，导出或提取出关于类、方法、属性、参数等的详细信息，包括注释。看一个这样的问题，php类的成员变量没有在类中声明，而是在函数中声明，.........

[1]使用phpQuery采集网页的方法

来源: 互联网发布时间: 2013-11-30

phpQuery是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面内容，获取你想要的页面信息。
采集头条
先看一实例，现在我要采集新浪网国内新闻的头条，代码如下：

代码如下:

include 'phpQuery/phpQuery.php';
phpQuery::newDocumentFile('http://www.');
echo pq(".blkTop h1:eq(0)")->html();

简单的三行代码，就可以获取头条内容。首先在程序中包含phpQuery.php核心程序，然后调用读取目标网页，最后输出对应标签下的内容。
pq()是一个功能强大的方法，跟jQuery的$()如出一辙，jQuery的选择器基本上都能使用在phpQuery上，只要把“.”变成“->”。如上例中，pq(“.blkTop h1:eq(0)”)抓取了页面class属性为blkTop的DIV元素，并找到该DIV内部的第一个h1标签，然后用html()方法获取h1标签里的内容（带html标签），也就是我们要获取的头条信息，如果使用text()方法，则只获取头条的文本内容。当然要使用好phpQuery，关键是要找对文档中对应内容的节点。
采集文章列表
下面再来看一个例子，获取helloweba.com网站的blog列表，请看代码：

代码如下:

include 'phpQuery/phpQuery.php';
phpQuery::newDocumentFile('http://www.');
$artlist = pq(".blog_li");
foreach($artlist as $li){
echo pq($li)->find('h2')->html()."";
}

通过循环列表中的DIV，找出文章标题并输出，就是这么简单。
解析XML文档
假设现在有一个这样的test.xml文档：

代码如下:

<?xml version="1.0" encoding="utf-8"?>
<root>
<contact>
     <name>张三</name>
     <age>22</age>
</contact>
<contact>
     <name>王五</name>
     <age>18</age>
</contact>
</root>

现在我要获取名字为张三的联系人的年龄，代码如下：

代码如下:

include 'phpQuery/phpQuery.php';
phpQuery::newDocumentFile('test.xml');
echo pq('contact > age:eq(0)');
结果输出：22

像jQuery一样，精准查找文档节点，输出节点下的内容，解析一个XML文档就是这么简单。现在你不必为采集网站内容而使用那些头疼的正则算法、内容替换等繁琐的代码了，有了phpQuery，一切就变得轻松多了。
phpquery项目官网地址：http://code.google.com/p/phpquery/

[2]phpQuery占用内存过多的处理方法

来源: 互联网发布时间: 2013-11-30

phpQuery是一个用php实现的类似jQuery的开源项目，可以在服务器端以jQuery的语法形式解析网页元素。相对于正则或其它方式匹配网页方式，phpQuery使用起来要方便的多。
在使用phpQuery采集网页时，遇到一个问题：在处理大量网页之后，phpQuery占用的内存数量非常惊人（很快就超过了1G)，
比如这段代码：

代码如下:

while (true) {
    phpQuery::newDocumentFile($htmlFile);
    // 处理网页元素...
    echo memory_get_usage() . "\n";
}

谨慎运行上面这段代码，它会很快用光你的内存。
经过查看phpQuery的源代码终于发现了问题所在，phpQuery在每处理一个网页就会产生一个DOMDocumentWrapper 对象，而每个DOMDocumentWrapper 对象会被保存在静态成员$documents中（phpQuery::createDocumentWrapper中），这个变量是一个数组，每解析一个网页数组元素就增加一个。
phpQuery::$documents[$wrapper->id] = $wrapper;
找到问题后，解决就很容易了，每次解析完一个网页，把phpQuery::$documents置空即可。

代码如下:

while (true) {
    phpQuery::newDocumentFile($htmlFile);
    // 处理网页元素...
    phpQuery::$documents = array();
    echo memory_get_usage() . "\n";
}

内存占用稳定了。

[3]PHP反射类ReflectionClass和ReflectionObject的使用方法

来源: 互联网发布时间: 2013-11-30

PHP中的扩展反射类，该扩展用来分析php程序，导出或提取出关于类、方法、属性、参数等的详细信息，包括注释。
看一个这样的问题，php类的成员变量没有在类中声明，而是在函数中声明，有什么不同？

代码如下:

class test{
    private $name;
    private $sex;
    function __construct(){
        $this->aaa='aaa';
    }
}

$test=new test();

$reflect=new ReflectionClass($test);
$pro=$reflect->getDefaultProperties();
print_r($pro);//打印结果：Array ( [name] => [sex] => )

echo $test->aaa;//打印结果：aaa

在这个test类中，声明了两个成员变量$name和$sex，但是在构造函数中，又声明了一个变量$aaa，初始化类，使用反射类打印默认成员属性只有声明的两个成员变量属性，但是打印类的$aaa变量发现还是可以输出结果。
请问类的成员变量不用声明，在函数中声明也是可以的吗，有什么区别？
在你这个例子中，使用ReflectionClass是不恰当的，因为__construct只有在实例化class时，才会执行。
也就是说ReflectionClass更多的是反射类声明时的结构，而不是类实例化后的结构，所以没有输出属性aaa是正确，因为属性aaa确实是（在类声明时）不存在的。
那么怎么看属性aaa呢，应该用ReflectionObject反射实例化后的结构，例如

代码如下:

<?php
class test{
    private $name;
    private $sex;
    function __construct(){
        $this->aaa='aaa';
    }
}
$test=new test();

$reflect=new ReflectionObject($test);
$pro=$reflect->getProperties();
print_r($pro);

经过实例化以后，属性aaa才会存在，这时你就能看到属性aaa了
因为php是“动态”语言，所以可以类的成员变量不用声明，在函数中声明也是可以的。