当前位置:  编程技术>php
本页文章导读:
    ▪php Snoopy获取网站编码的实现代码      本节内容： 获取网站编码 用于php爬虫，获取编码准确率99.9%。 部分不能获取，期待网友分享好的方法。 首先，下载Snoopy.class.php，下载地址：http://sourceforge.net/projects/snoopy/。 或获取该类的.........
    ▪php Snoopy类的用法举例      本节内容： php Snoopy类。 该类的功能包括： 获取请求网页里面的所有链接，直接使用fetchlinks即可，获取所有文本信息使用fetchtext（其内部使用正则表达式处理），模拟提交表单等。 使用方.........
    ▪提高PHP运行效率的十二条法则      本节内容： 提高PHP运行效率 在php编程中，效率与安全往往是并列第一位的。 本节分享几条提高php运行效率的方法，具体内容，参考如下： 1、如果能将类的方法定义成static，就尽量定义成s.........

[1]php Snoopy获取网站编码的实现代码
    来源: 互联网  发布时间: 2013-12-24

本节内容：
获取网站编码 用于php爬虫，获取编码准确率99.9%。
部分不能获取，期待网友分享好的方法。

首先，下载Snoopy.class.php，下载地址：http://sourceforge.net/projects/snoopy/。
或获取该类的源码：http://blog.163.com/huv520@126/blog/static/27765239200782763412692/。
调用方法：
 

代码示例:
<?php
require 'lib/Snoopy.class.php';
require 'lib/WebCrawl.class.php';//包含下面代码
$go=new WebCrawl('http://www.');
echo $go->getCharset();
?>

获取网站编码的完整示例，如下：
 

代码示例:
<?php
/**
* 使用snoopy.class.php取得网站编码
* 编辑：www.
*/
class WebCrawl
{
private $url;
private $request;
public $charset_arr=array(
'gb2312',
'utf-8',
'big5',
'gbk',
'ascii',
'cp936',
'ibm037',
'ibm437',
'ibm500',
'asmo-708',
'dos-720',
'ibm737',
'ibm775',
'ibm850',
'ibm852',
'ibm855',
'ibm857',
'ibm00858',
'ibm861',
'ibm860',
'dos-862',
'ibm863',
'ibm864',
'ibm865',
'cp866',
'ibm869',
'ibm870',
'windows-874',
'cp875',
'shift_jis',
'ks_c_5601-1987',
'ibm1026',
'ibm01047',
'ibm01047',
'ibm01040',
'ibm01041',
'ibm01042',
'ibm01043',
'ibm01044',
'ibm01045',
'ibm01046',
'ibm01047',
'ibm01048',
'ibm01049',
'utf-8',
'unicodefffe',
'windows-1250',
'windows-1251',
'windows-1252',
'windows-1253',
'windows-1254',
'windows-1255',
'windows-1256',
'windows-1257',
'windows-1258',
'johab',
'macintosh',
'x-mac-japanese',
'x-mac-chinesetrad',
'x-mac-korean',
'x-mac-arabic',
'x-mac-hebrew',
'x-mac-greek',
'x-mac-cyrillic',
'x-mac-chinesesimp',
'x-mac-romanian',
'x-mac-ukrainian',
'x-mac-thai',
'x-mac-ce',
'x-mac-icelandic',
'x-mac-turkish',
'x-mac-croatian',
'x-chinese-cns',
'x-cp20001',
'x-chinese-eten',
'x-cp20003',
'x-cp20004',
'x-cp20005',
'x-ia5',
'x-ia5-german',
'x-ia5-swedish',
'x-ia5-norwegian',
'us-ascii',
'x-cp20261',
'x-cp20269',
'ibm273',
'ibm277',
'ibm278',
'ibm280',
'ibm284',
'ibm285',
'ibm290',
'ibm420',
'ibm423',
'ibm424',
'x-ebcdic-koreanextended',
'ibm-thai',
'koi8-r',
'ibm871',
'ibm880',
'ibm905',
'ibm00924',
'x-cp20936',
'x-cp20949',
'cp1025',
'koi8-u',
'iso-8859-1',
'iso-8859-2',
'iso-8859-3',
'iso-8859-4',
'iso-8859-5',
'iso-8859-6',
'iso-8859-7',
'iso-8859-8',
'iso-8859-9',
'iso-8859-13',
'iso-8859-15',
'x-europa',
'iso-8859-8-i',
'iso-2022-jp',
'csiso2022jp',
'iso-2022-jp',
'iso-2022-kr',
'x-cp50227',
'euc-jp',
'euc-cn',
'euc-kr',
'hz-gb-2312',
'gb18030',
'x-iscii-de',
'x-iscii-be',
'x-iscii-ta',
'x-iscii-te',
'x-iscii-as',
'x-iscii-or',
'x-iscii-ka',
'x-iscii-ma',
'x-iscii-gu',
'x-iscii-pa',
'utf-7',
'utf-32',
'utf-32be'
);
public function __construct($url)
{
$this->url=$url;
}
//打开网站
private function open($url)
{
if($this->request!==null)
{
if($this->request->status==200)
{
return true;
}
else
{
return false;
}
}
else
{
$this->request=new Snoopy();
$this->request->fetch($url);
if($this->request->status==200)
{
$this->request->results=strtolower()($this->request->results);
$charset=$this->getCharset();
if($charset!="utf-8")
{
if($charset=="windows-1252")
{
$this->request->results=$this->uni_decode($this->request->results);
}
else
{
$this->request->results=mb_convert_encoding($this->request->results,"UTF-8",$charset);
}
}
return true;
}
else
{
return false;
}
}
}
//获取网站title,keywords,description
public function getWebinfo()
{
$info=array(
'title'=>'',
'keywords'=>'',
'desc'=>'',
'ip'=>''
);
if(!$this->open($this->url)){return $info;exit;}
// print_r($this->request->results);exit;
preg_match('/<title>([^>]*)<\/title>/si', $this->request->results, $titlematch );
if (isset()($titlematch) && is_array($titlematch) && count($titlematch) > 0)
{
$info['title'] = strip_tags()($titlematch[1]);
}
preg_match_all('/<[\s]*meta[\s]*name="?' . '([^>"]*)"?[\s]*' . 'content="?([^>"]*)"?[\s]*[\/]?[\s]*>/si', $this->request->results, $match);
$ft=0;
foreach($match[1] as $mt)
{
if($mt=="keywords" || $mt=="description")
{
$ft=1;
}
}
if($ft==0)
{
preg_match_all('/<[\s]*meta[\s]*content="?([^>"]*)"?[\s]*name="?' . '([^>"]*)"?[\s]*[\/]?[\s]*>/si', $this->request->results, $match);
if (isset($match) && is_array($match) && count($match) == 3)
{
$originals = $match[0];
$names = $match[2];
$values = $match[1];
if (count($originals) == count($names) && count($names) == count($values))
{
$metaTags = array();
for ($i=0, $limiti=count($names); $i < $limiti; $i++)
{
$metaTags[$names[$i]] = array (
'html' => htmlentities($originals[$i]),
'value' => $values[$i]
);
}
}
}
}
else
{
if (isset($match) && is_array($match) && count($match) == 3)
{
$originals = $match[0];
$names = $match[1];
$values = $match[2];
if (count($originals) == count($names) && count($names) == count($values))
{
$metaTags = array();
for ($i=0, $limiti=count($names); $i < $limiti; $i++)
{
$metaTags[$names[$i]] = array (
'html' => htmlentities($originals[$i]),
'value' => $values[$i]
);
}
}
}
}
$result = array (
'metaTags' => $metaTags
);
if(isset($result['metaTags']['keywords']['value']))
{
$info['keywords']=$result['metaTags']['keywords']['value'];
}
else
{
$info['keywords']="";
}
if(isset($result['metaTags']['description']['value']))
{
$info['desc']=$result['metaTags']['description']['value'];
}
else
{
$info['desc']="";
}
$domain=preg_replace('/http\:\/\//si', '', $this->url);
$ip=@gethostbyname($domain);
$ip_arr=explode()(".", $ip);
if(count($ip_arr)==4)
{
$info['ip']=$ip;
}
return $info;
}
public function t($string,$o)
{
for($i=0;$i<strlen($string);$i++)
{
if(ord($string{$i})<128)
continue;
if((ord($string{$i})&224)==224)
{
//第一个字节判断通过
$char = $string{++$i};
if((ord($char)&128)==128)
{
//第二个字节判断通过
$char = $string{++$i};
if((ord($char)&128)==128)
{
$encoding = "UTF-8";
break;
}
}
}
if((ord($string{$i})&192)==192)
{
//第一个字节判断通过
$char = $string{++$i};
if((ord($char)&128)==128)
{
//第二个字节判断通过
$encoding = "GB2312";
break;
}
}
}
return strtolower($encoding);
}
function uni_decode ($str, $code = 'utf-8'){
$str = json_decode()(preg_replace_callback('/&#(\d{5});/', create_function('$dec', 'return \'\\u\'.dechex($dec[1]);'), '"'.$str.'"'));
if($code != 'utf-8'){ $str = iconv('utf-8', $code, $str); }
return $str;
}
//获取网站编码
public function getCharset()
{
if(!$this->open($this->url)){return false;exit;}
//首先从html获取编码
preg_match("/<meta.+?charset=[^\w]?([-\w]+)/i",$this->request->results,$temp) ? strtolower($temp[1]):"";
if($temp[1]!="")
{
if(in_array($temp[1], $this->charset_arr))
{
if($temp[1]=="gb2312")
{
$tmp_charset=$this->t($this->request->results,$temp[1]);
if($tmp_charset==$temp[1])
{
return $temp[1];
}
}
else
{
return $temp[1];
}
}
}
if(!empty($this->request->headers))
{
//从header中获取编码
$hstr=strtolower(implode("|||",$this->request->headers));
preg_match("/charset=[^\w]?([-\w]+)/is",$hstr,$lang) ? strtolower($lang[1]):"";
if($lang[1]!="")
{
return $lang[1];
}
}
$encode_arr=array("UTF-8","GB2312","GBK","BIG5","ASCII","EUC-JP","Shift_JIS","CP936","ISO-8859-1","JIS","eucjp-win","sjis-win");
$encoded=mb_detect_encoding($this->request->results,$encode_arr);
if($encoded)
{
return strtolower($encoded);
}
else
{
return false;
}
}
}
?>

    
[2]php Snoopy类的用法举例
    来源: 互联网  发布时间: 2013-12-24

本节内容：
php Snoopy类。

该类的功能包括：
获取请求网页里面的所有链接，直接使用fetchlinks即可，获取所有文本信息使用fetchtext（其内部使用正则表达式处理），模拟提交表单等。

使用方法：
1、下载Snoopy类，下载地址：http://sourceforge.net/projects/snoopy/
2、实例化一个对象，然后调用相应的方法即可获取抓取的网页信息
示例：
 

代码示例:
<?php
include 'snoopy/Snoopy.class.php';
  
$snoopy = new Snoopy();
   
$sourceURL = "http://xxxxxxxxx";
$snoopy->fetchlinks($sourceURL);
   
$a = $snoopy->results;

它并没有提供获取网页中所有图片地址的方法。

需求：
获取一个页面中所有文章列表中图片地址。

自己实现一个吧，主要还是正则那里匹配重要。
 

代码示例:
<?php
//匹配图片的正则表达式
 $reTag = "/<img[^s]+src=/index.html"(http:\/\/[^\"]+).(jpg|png|gif|jpeg)\"[^\/]*\/>/i";

因为需求比较特殊，只需要抓取写死htp://开头的图片（外站的图片可能使得了防盗链，想先抓取到本地）

实现思路：
1、抓取指定网页，并筛选出预期的所有文章地址；
2、循环抓取第一步中的文章地址，然后使用匹配图片的正则表达式进行匹配，获取页面中所有符合规则的图片地址；
3、根据图片后缀和ID（这里只有gif、jpg）保存图片---如果此图片文件存在，先将其删除再保存
 

代码示例:
<?php
    include 'snoopy/Snoopy.class.php';
   
    $snoopy = new Snoopy();
   
    $sourceURL = "http://xxxxx";
    $snoopy->fetchlinks($sourceURL);
   
    $a = $snoopy->results;
    $re = "/\d+\.html$/";
   
    //过滤获取指定的文件地址请求
    foreach ($a as $tmp) {
        if (preg_match($re, $tmp)) {
            getImgURL(/blog_article/$tmp/index.html);
        }
    }
   
    function getImgURL(/blog_article/$siteName/index.html) {
        $snoopy = new Snoopy();
        $snoopy->fetch($siteName);
       
        $fileContent = $snoopy->results;
       
        //匹配图片的正则表达式
        $reTag = "/<img[^s]+src=/index.html"(http:\/\/[^\"]+).(jpg|png|gif|jpeg)\"[^\/]*\/>/i";
       
        if (preg_match($reTag, $fileContent)) {
            $ret = preg_match_all($reTag, $fileContent, $matchResult);
           
            for ($i = 0, $len = count($matchResult[1]); $i < $len; ++$i) {
                saveImgURL(/blog_article/$matchResult[1][$i], $matchResult[2][$i]/index.html);
            }
        }
    }
   
    function saveImgURL(/blog_article/$name, $suffix/index.html) {
        $url = $name.".".$suffix;
       
        echo "请求的图片地址：".$url."<br/>";
       
        $imgSavePath = "E:/xxx/style/images/";
        $imgId = preg_replace("/^.+\/(\d+)$/", "\\1", $name);
        if ($suffix == "gif") {
            $imgSavePath .= "emotion";
        } else {
            $imgSavePath .= "topic";
        }
        $imgSavePath .= ("/".$imgId.".".$suffix);
       
        if (is_file($imgSavePath)) {
            unlink($imgSavePath);
            echo "<p >文件".$imgSavePath."已存在，将被删除</p>";
        }
       
        $imgFile = file_get_contents($url);
        $flag = file_put_contents($imgSavePath, $imgFile);
       
        if ($flag) {
            echo "<p>文件".$imgSavePath."保存成功</p>";
        }
       
    }
?>
 

在使用php抓取网页：内容、图片、链接的时候，我觉得最重要的还是正则(根据抓取的内容和指定的规则获取想要的数据)，思路其实都比较简单，用到的方法也并不多，也就那几个（而且抓取内容还是直接调用别人写好的类中的方法就可以了）

但之前想过的是php似乎并没有实现如下的方法，比如一个文件中有N行(N很大)，需要将其中符合规则的行内容进行替换，如第3行是aaa需要转成bbbbb。一般的需要修改文件时的常见做法：
1、一次读取整个文件（或是逐行读取），然后使用临时文件进行保存最终转换后的结果，再替换原始文件
2、逐行读取，使用fseek控制文件指针的位置，然后fwrite写入

方案1在文件较大时，一次读取不可取（逐行读取，然后写入临时文件再替换原始文件效率感觉也不高），方案2则在被替换的字符串长度小于等于目标值时没问题，但超过了则会有问题，它会“越界”，将下一行的数据也打乱了（不能像JavaScript中有“选区”的概念，使用新的内容进行替换）

使用方案2做试验的代码：
 

代码示例:

<?php
$mode = "r+";
$filename = "d:/file.txt";
$fp = fopen($filename, $mode);

if ($fp) {
 $i = 1;
 
 while (!feof($fp)) {
  $str = fgets($fp);
  echo $str;
  if ($i == 1) {
   $len = strlen($str);
   fseek($fp, -$len, SEEK_CUR);//指针向前移动
   fwrite($fp, "123");
  }
 
  $i++;
 }
 
 fclose($fp);
}

?>
 

代码说明：
先读取一行，此时文件指针其实是指到下一行开头，使用fseek将文件指针回移到上一行起始位置，然后使用fwrite进行替换操作，正因为是替换操作，在不指定长度的情况下，它把影响到下一行的数据，而我想要的是只想针对这一行进行操作，例如删除这一行或是整行只替换为一个1，上面的例子达不到要求，或许是我还没有找到合适的方法？哪位朋友有好的方法，欢迎分享下。


    
[3]提高PHP运行效率的十二条法则
    来源: 互联网  发布时间: 2013-12-24

本节内容：
提高PHP运行效率

在php编程中，效率与安全往往是并列第一位的。

本节分享几条提高php运行效率的方法，具体内容，参考如下：

1、如果能将类的方法定义成static，就尽量定义成static，它的速度会提升将近4倍。

2、并不是事必面向对象(OOP)，面向对象往往开销很大，每个方法和对象调用都会消耗很多内存。

3、$row[’id’] 的速度是$row[id]的7倍。

4、echo 比 print 快，并且使用echo的多重参数（译注：指用逗号而不是句点）代替字符串连接，比如echo $str1,$str2。

5、在执行for循环之前确定最大循环数，不要每循环一次都计算最大值，最好运用foreach代替。

6、注销那些不用的变量尤其是大数组，以便释放内存。

7、在php中使用require_once/include_once虽然方便，但是代价昂贵，据测试数据来看,require_once比require慢3-4倍，所以在php开发中，我们应该尽量使用require/include。

8、include文件时尽量使用绝对路径，因为它避免了PHP去include_path里查找文件的速度，解析操作系统路径所需的时间会更少。

9、str_replace()函数比preg_replace函数快，但strtr函数的效率是str_replace函数的四倍。

10、使用选择分支语句（译注：即switch case）好于使用多个if，else if语句。

11、递增一个全局变量要比递增一个局部变量慢2倍。

12、递增一个对象属性（如：$this->prop++）要比递增一个局部变量慢3倍。


    
最新技术文章:
▪PHP函数microtime()时间戳的定义与用法
▪PHP单一入口之apache配置内容
▪PHP数组排序方法总结(收藏)
▪php数组排序方法大全(脚本学堂整理奉献)
▪php数组排序的几个函数(附实例)
▪php二维数组排序(实例)
▪php根据键值对二维数组排序的小例子
▪php验证码(附截图)
▪php数组长度的获取方法(三个实例)
▪php获取数组长度的方法举例
▪判断php数组维度(php数组长度)的方法
▪php获取图片的exif信息的示例代码
▪PHP 数组key长度对性能的影响实例分析
▪php函数指定默认值的方法示例
▪php文件下载代码(多浏览器兼容、支持中文文... iis7站长之家
▪php四舍五入的三种实现方法
▪php获得数组长度(元素个数)的方法
▪php日期函数的简单示例代码
▪php数学函数的简单示例代码
▪php字符串函数的简单示例代码
▪php文件下载代码(多浏览器兼容、支持中文文...
▪php实现文件下载、支持中文文件名的示例代码...
▪php文件下载(防止中文文件名乱码)的示例代码
▪解决PHP文件下载时中文文件名乱码的问题
▪php数组去重(一维、二维数组去重)的简单示例
▪php小数点后取两位的三种实现方法
▪php Redis 队列服务的简单示例
▪PHP导出excel时数字变为科学计数的解决方法
▪PHP数组根据值获取Key的简单示例
▪php数组去重的函数代码示例
 


站内导航:


特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除！

©2012-2021,,E-mail:www_#163.com(请将#改为@)

浙ICP备11055608号-3