在php中,抓取https的网站,提示如下的错误内容:
Warning: file_get_contents() [function.file-get-contents]: failed to open stream: Invalid argument in I:Webmyphpa.php on line 16
打开php.ini文件找到 ;extension=php_openssl.dll ,去掉双引号”;” ,重启web服务器即可。
apache服务器的话,可以同时启用mod_ssl模块测试。
如果不方便修改服务器配置,可以参考使用如下的函数来解决:
//file_get_contents抓取https地址内容
function getCurl(/blog_article/$url/index.html){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
$result = curl_exec($ch);
curl_close ($ch);
return $result;
}
说明:
本节内容在wamp包安装的环境实现。
首先,打开php.ini,关掉安全模式safe_mode = off,然后在看看 禁用函数列表 disable_functions = proc_open, popen, exec, system, shell_exec ,把exec去掉。
php代码:
exec("mkdir d:\\test",$out);
print_r($out);
?>
执行该php文件,会发现在d盘下多了一个test文件夹。
参考文档:
exec函数解析
exec语法: string exec(string command, string [array], int [return_var]);
exec返回值: 字符串
exec参数说明
Command – 需要执行的命令
Array – 是输出值
return_var –是返回值0或1,如果返回0则执行成功,返回1则执行失败。
exec不成功,调试方案
技巧分享:
使用管道命令, 使用 2>&1, 命令就会输出shell执行时的错误到$output变量, 输出该变量即可分析。
例如:
exec(‘convert a.jpg b.jpg’, $output, $return_val);
修改为:
print_r($output);
本节主要内容:
一个关键词替换的类
主要可以用于关键词过滤,或关键词查找替换方面。
实现过程分析:
关键词替换,其实就是一个str_replace()的过程,如果是单纯的str_replace面对10W的关键词,1W字的文章也只需要2秒左右。
问题所在:
关键词替换了不只一次,比如a需要替换成<a>a</a>,但结果可能是<a><a>a</a></a>等这样。
为此,需要一个方法保护好已经替换了的标签,那么在处理文章之前,就先把标签替换掉比如[_tnum_]在文章处理好了以后再把它还原。
另外一个问题,如果关键字或文章中有[_tnum_]本身怎么办,那么就需要排除这种这里就不能使用str_replace了而需要用到preg_replace用正则来排除。
第三个问题,如果有两个关键字a和ab怎么办,希望先把长的匹配掉,短后匹配,这样就需要在匹配前先排序。
最后一个问题,当str_replace改成了preg_replace以后,变慢了同样一段话10W次匹配要5秒钟,字符串处理的函数中strpos要快一些,那么先用strpos找出关键词即可,10W次查询还不到1秒。就算是100万才道8秒多。
一个关键词匹配替换的类,代码:
<?php
/*
* 关键词匹配类
* @author ylx <ylx123456@gmail.com>
* @packet mipang
* 使用实例
* $str = "绿壳蛋鸡撒范德萨下一年,下一年1的洒落开房间卢卡斯地方军";
* $key = new KeyReplace($str,array("xxxx"=>"sadf","下一年1"=>'http://baidu.com',"下一年"=>'google.com'));
* echo $key->getResultText();
* echo $key->getRuntime();
*/
class KeyReplace
{
private $keys = array();
private $text = "";
private $runtime = 0;
private $url = true;
private $stopkeys = array();
private $all = false;
/**
* @access public
* @param string $text 指定被处理的文章
* @param array $keys 指定字典词组array(key=>url,...) url可以是数组,如果是数组将随机替换其中的一个
* @param array $stopkeys 指定停止词array(key,...) 这里面的词将不会被处理
* @param boolean $url true 表示替换成链接否则只替换
* @param boolean $all true 表示替换所有找到的词,否则只替换第一次
*/
public function __construct($text='',$keys=array(),$url=true,$stopkeys=array(),$all=false) {
$this->keys = $keys;
$this->text = $text;
$this->url = $url;
$this->stopkeys = $stopkeys;
$this->all = $all;
}
/**
* 获取处理好的文章
* @access public
* @return string text
*/
public function getResultText() {
$start = microtime(true);
$keys = $this->hits_keys();
$keys_tmp = array_keys()($keys);
function cmp($a, $b){
if (mb_strlen($a) == mb_strlen($b)) {
return 0;
}
return (mb_strlen($a) < mb_strlen($b)) ? 1 : -1;
}
usort($keys_tmp,"cmp");
foreach($keys_tmp as $key){
if(is_array($keys[$key])){
$url = $keys[$key][rand(0,count($keys[$key])-1)];
}else
$url = $keys[$key];
$this->text = $this->r_s($this->text,$key,$url);
}
$this->runtime = microtime(true)-$start;
return $this->text;
}
/**
* 获取处理时间
* @access public
* @return float
*/
public function getRuntime() {
return $this->runtime;
}
/**
* 设置关键词
* @access public
* @param array $keys array(key=>url,...)
*/
public function setKeys($keys) {
$this->keys = $keys;
}
/**
* 设置停止词
* @access public
* @param array $keys array(key,...)
*/
public function setStopKeys($keys) {
$this->stopkeys = $keys;
}
/**
* 设置文章
* @access public
* @param string $text
*/
public function setText($text) {
$this->text = $text;
}
/**
* 用来找到字符串里面命中的关键词
* @access public
* @return array $keys 返回匹配到的词array(key=>url,...)
*/
public function hits_keys(){
$ar = $this->keys;
$ar = $ar?$ar:array();
$result=array();
$str = $this->text;
foreach($ar as $k=>$url){
$k = trim($k);
if(!$k)
continue;
if(strpos($str,$k)!==false && !in_array($k,$this->stopkeys)){
$result[$k] = $url;
}
}
return $result?$result:array();
}
/**
* 用来找到字符串里面命中的停止词
* @access public
* @return array $keys 返回匹配到的词array(key,...)
*/
public function hits_stop_keys(){
$ar = $this->stopkeys;
$ar = $ar?$ar:array();
$result=array();
$str = $this->text;
foreach($ar as $k){
$k = trim($k);
if(!$k)
continue;
if(strpos($str,$k)!==false && in_array($k,$this->stopkeys)){
$result[] = $k;
}
}
return $result?$result:array();
}
/**
* 处理替换过程
* @access private
* @param string $text 被替换者
* @param string $key 关键词
* @param string $url 链接
* @return string $text 处理好的文章
*/
private function r_s($text,$key,$url){
$tmp = $text;
$stop_keys = $this->hits_stop_keys();
$stopkeys = $tags = $a = array();
if(preg_match_all("#<a[^>]+>[^<]*</a[^>]*>#su",$tmp,$m)){
$a=$m[0];
foreach($m[0] as $k=>$z){
$z = preg_replace("#\##s","\#",$z);
$tmp = preg_replace('#'.$z.'#s',"[_a".$k."_]",$tmp,1);
}
};
if(preg_match_all("#<[^>]+>#s",$tmp,$m)){
$tags = $m[0];
foreach($m[0] as $k=>$z){
$z = preg_replace("#\##s","\#",$z);
$tmp = preg_replace('#'.$z.'#s',"[_tag".$k."_]",$tmp,1);
}
}
if(!empty($stop_keys)){
if(preg_match_all("#".implode("|",$stop_keys)."#s",$tmp,$m)){
$stopkeys = $m[0];
foreach($m[0] as $k=>$z){
$z = preg_replace("#\##s","\#",$z);
$tmp = preg_replace('#'.$z.'#s',"[_s".$k."_]",$tmp,1);
}
}
}
$key1 = preg_replace("#([\#\(\)\[\]\*])#s","\\\\$1",$key);
if($this->url)
$tmp = preg_replace("#(?!\[_s|\[_a|\[_|\[_t|\[_ta|\[_tag)".$key1."(?!ag\d+_\]|g\d+_\]|\d+_\]|s\d+_\]|_\])#us",'<a href="'.$url.'">'.$key.'</a>',$tmp,$this->all?-1:1);
else
$tmp = preg_replace("#(?!\[_s|\[_a|\[_|\[_t|\[_ta|\[_tag)".$key1."(?!ag\d+_\]|g\d+_\]|\d+_\]|s\d+_\]|_\])#us",$url,$tmp,$this->all?-1:1);
if(!empty($a)){
foreach($a as $n=>$at){
$tmp = str_replace("[_a".$n."_]",$at,$tmp);
}
}
if(!empty($tags)){
foreach($tags as $n=>$at){
$tmp = str_replace("[_tag".$n."_]",$at,$tmp);
}
}
if(!empty($stopkeys)){
foreach($stopkeys as $n=>$at){
$tmp = str_replace("[_s".$n."_]",$at,$tmp);
}
}
return $tmp;
}
}