PHP多线程批量采集下载美女图...-获取php页面执行时间，数据库...-php变量作用域的深入解析

当前位置: 编程技术>php

本页文章导读:

▪PHP多线程批量采集下载美女图片的实现代码(续) 个人认为影响的原因：匹配到的图片url并不是有效的url，文中只是简单的判断是否是相对路径，但是有些url是失效的解决办法：就是新增判断是否是真实有效url的图片代码如下:/** * *判.........

▪php变量作用域的深入解析 PHP 中的每个变量都有一个针对它的作用域，它是指可以在其中访问变量（从而访问它的值）的一个领域。对于初学者来说，变量的作用域是它们所驻留的页面。因此，如果你定义了 $var，页.........

[1]PHP多线程批量采集下载美女图片的实现代码(续)

来源: 互联网发布时间: 2013-11-30

个人认为影响的原因：
匹配到的图片url并不是有效的url，文中只是简单的判断是否是相对路径，但是有些url是失效的
解决办法：就是新增判断是否是真实有效url的图片

代码如下:

/**
*
*判断url是否有效
*@param $url string
*@return boole
*/
function relUrl(/blog_article/$url/index.html){
if(substr($url,0,4)=='http'){
  $array = get_headers($url,true);
  if(count($array)>0 && is_array($array)){
   if(preg_match('/200/', $array[0])){
    unset($array);
    return true;
   }else{
    unset($array);
    return false;
   }
  }else{
   unset($array);
   return false;
  }
}else{
  return false;
}
}

主要使用get_headers函数，获取http请求信息，判断服务端反应状态（200）判断url是否真实有效。

再次测试采集图片
结果比以前还要糟糕，运行的更慢了。

测试的原因就是：
get_headers函数虽然可以判断url是否真实有效，但是假如遇到很慢的url资源，因为get-heades请求没有时间限制，导致这个线程被占用，后续的请求被阻塞
file_get_content函数和上面的原因一样，由于某些慢的url资源都长期占用，阻塞后面的进程被占用，长期阻塞，cpu占用也会增高
解决办法；
使用curl的多线程，另外curl可以设置请求时间，遇到很慢的url资源，可以果断的放弃，这样没有阻塞，另外有多线程请求，效率应该比较高，参考：《CURL的学习和应用[附多线程]》，我们再来测试一下；

核心代码：

代码如下:

/**
     * curl 多线程
     *
     * @param array $array 并行网址
     * @param int $timeout 超时时间
     * @return mix
     */
public function Curl_http($array,$timeout='15'){
      $res = array();

      $mh = curl_multi_init();//创建多个curl语柄

      foreach($array as $k=>$url){
          $conn[$k]=curl_init($url);//初始化

          curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间
          curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');
          curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别，7最高
          curl_setopt($conn[$k], CURLOPT_HEADER, false);//这里不要header，加块效率
          curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
          curl_setopt($conn[$k], CURLOPT_RETURNTRANSFER,1);//要求结果为字符串且输出到屏幕上
    curl_setopt($conn[$k], CURLOPT_HTTPGET, true);

          curl_multi_add_handle ($mh,$conn[$k]);
      }
       //防止死循环耗死cpu 这段是根据网上的写法
          do {
              $mrc = curl_multi_exec($mh,$active);//当无数据，active=true
          } while ($mrc == CURLM_CALL_MULTI_PERFORM);//当正在接受数据时
          while ($active and $mrc == CURLM_OK) {//当无数据时或请求暂停时，active=true
              if (curl_multi_select($mh) != -1) {
                  do {
                      $mrc = curl_multi_exec($mh, $active);
                  } while ($mrc == CURLM_CALL_MULTI_PERFORM);
              }
          }

      foreach ($array as $k => $url) {
            if(!curl_errno($conn[$k])){
            $data[$k]=curl_multi_getcontent($conn[$k]);//数据转换为array
            $header[$k]=curl_getinfo($conn[$k]);//返回http头信息
            curl_close($conn[$k]);//关闭语柄
            curl_multi_remove_handle($mh , $conn[$k]);   //释放资源
            }else{
            unset($k,$url);
            }
          }

          curl_multi_close($mh);

          return $data;

   }

//参数接收
$callback = $_GET['callback'];
$hrefs = $_GET['hrefs'];
$urlarray = explode(',',trim($hrefs,','));
$date = date('Ymd',time());
//实例化
$img = new HttpImg();
$stime = $img->getMicrotime();//开始时间

$data = $img->Curl_http($urlarray,'20');//列表数据
mkdir('./img/'.$date,0777);
foreach ((array)$data as $k=>$v){
preg_match_all("/(href|src)=(["|']?)([^ "'>]+.(jpg|png|PNG|JPG|gif))\2/i", $v, $matches[$k]);

if(count($matches[$k][3])>0){
  $dataimg = $img->Curl_http($matches[$k][3],'20');//全部图片数据二进制
  $j = 0;
  foreach ((array)$dataimg as $kk=>$vv){
   if($vv !=''){
    $rand = rand(1000,9999);
    $basename = time()."_".$rand.".".jpg;//保存为jpg格式的文件
    $fname = './img/'.$date."/"."$basename";
    file_put_contents($fname, $vv);
    $j++;
    echo "创建第".$j."张图片"."$fname"."<br/>";
   }else{
    unset($kk,$vv);
   }
  }
}else{
  unset($matches);
}
}
$etime = $img->getMicrotime();//结束时间
echo "用时".($etime-$stime)."秒";
exit;

测试一下效果

337张图片用时260秒左右，基本上可以做到一秒内就可以采集一张的效果，而且发现图片越到优势采集速度越明显。

我们可以看一下文件命名：也就可以做到同一时刻可以生成10张图片，

由于采用了20秒请求的时间限制，有些图片生成后有明显不全，也就是图片资源在20秒内未能完全采集，这个时间大家可以自行设置。

[2]获取php页面执行时间，数据库读写次数，函数调用次数等(THINKphp)

来源: 互联网发布时间: 2013-11-30

代码如下:

/**
* 得到当前时间
*/
function getMicrotime() {

list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}

使用：上面的方法可以获取当前时间，计算页面执行时间可以在程序开头和结尾出分别执行该方法，最后时间差就是页面执行的时间，原理很简单。

获取数据库读写次数

在数据库插入和读取的时候设置一个全局变量，每次执行成功一次$i++一次，，这是tp里面db类的方法，而N的方法是：自动累计的一个方法。

同理缓存也是这样计算出来的

内存的开销
memory_get_usage可以获取当前内存的消耗量，可以在程序开始和结尾分别调用，差值就是内存的开销

加载文件的数量
get_included_files:Gets the names of all files that have been included using include, include_once, require or require_once.

也就是可以获取到所有的include,require的文件数,返回引入文件的数组:

官网例子":

代码如下:

<?php
// This file is abc.php

include 'test1.php';
include_once 'test2.php';
require 'test3.php';
require_once 'test4.php';

$included_files = get_included_files();

foreach ($included_files as $filename) {
echo "$filenamen";
}
?>

返回的结果是:

abc.php
test1.php
test2.php
test3.php
test4.php

函数调用方法
第一个看这个，感觉是在每个方法里面调用时自动+1.但是感觉不大可能，貌似这个每个方法里写不靠谱，这群里讨论半天，最后发现php的一个函数：

get_defined_functions返回引入PHP文件的所有方法的array格式，包括自定义的，内置的。

引入官网的一个例子：

代码如下:

<?php
function myrow($id, $data)
{
return "<tr><th>$id</th><td>$data</td></tr>n";
}
$arr = get_defined_functions();
print_r($arr);
?>

结果是：

代码如下:

Array
(
[internal] => Array
(
[0] => zend_version
[1] => func_num_args
[2] => func_get_arg
[3] => func_get_args
[4] => strlen
[5] => strcmp
[6] => strncmp
...
[750] => bcscale
[751] => bccomp
)

[user] => Array
(
[0] => myrow
)
)

user为自定义方法，internal为内置方法数组。

引申：

get_defined_constants 获取定义所有常量的数组
get_defined_functions 获取定义所有函数的数组
get_defined_vars 获取定义所有变量的数组
get_declared_classes 返回已经定义的类的数组

[3]php变量作用域的深入解析

来源: 互联网发布时间: 2013-11-30

PHP 中的每个变量都有一个针对它的作用域，它是指可以在其中访问变量（从而访问它的值）的一个领域。对于初学者来说，变量的作用域是它们所驻留的页面。因此，如果你定义了 $var，页面余下部分就可以访问 $var，但是，其它页面一般不能访问它（除非使用特殊的变量）。

因为包含文件像它们是原始（包含）脚本的一部分那样工作，所以在 include() 那一行之前定义的变量可供包含文件使用。此外，包含文件内定义的变量可供 include() 那一行之后的父（包含）脚本使用。

当使用你自己定义的函数时，所有这些都将变得不那么明显。这些函数具有它们自己的作用域，这意味着在一个函数内使用的变量不能在其外部使用，在一个函数外部定义的变量不能在其内部使用。由于这个原因，函数内部的变量可以具有与其外部的变量相同的名称，但是它们仍然是完全不同的变量，并且具有不同的值。对于大多数初级程序员来说，这是一个使人糊涂的概念。
要改变一个函数内的变量的作用域，可以使用 global 语句。

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
function function_name() {
global $var;
}
$var=20;
function_name(); // Function call.
?>

在这个示例中，函数内部的 $var 现在与函数外部的 $var 相同。这意味着变量 $var 已经具有一个值20，如果在函数内部改变了这个值，外部的 $var 值也会改变。
避开变量作用域的另一个方法是利用超全局变量：$_GET、$_POST、$_REQUEST 等。这些变量在你的函数内是自动可访问的（因此，它们是超全局变量）。也可以添加元素到 $GLOBALS 数组中，使得可以在函数内使用它们。

也就是说，最好不要在函数内使用全局变量。在设计函数时，应该使它们根据需要接受每个值作为参数，并根据需要返回任何值。依靠函数内的全局变量将使得它们更依赖于上下文，因而不太有用。
在PHP中变量主要有：内置超级全局变量，一般的变量，常量，全局变量，静态变量等.

内置超级全局变量可以在脚本的任何地方使用和可见。即如果我们在一个PHP页面中改变了其中的一个值，那么在其他PHP页面中使用时，它的值也会发生改变。

•常量一旦被声明将可以在全局可见，也就是说，它们可以函数内外使用，但是这仅仅限于一个页面之中（包含我们通过include和include_once）包含进来的PHP脚本，但是在其他的页面中就不能使用了。
•在一个脚本中声明的全局变量在整个脚本中是可见的，但不是在函数内部，在函数内部的变量如果与全局变量名称相同，以函数内部的变量为准。
•函数内部使用的变量声明为全局变量时，其名称要与全局变量的名称一致，在这样的情况下，我们就可以在函数中使用函数外部的全局变量了，这样就可以避免上一种因为函数内部的变量与外部的全局变量名称相同而覆盖了外部变量这样的情况。
•在函数内部创建并声明为静态的变量无法在函数外部可见，但是可以在函数的多次执行过程中保持该值，最常见的情况就是在函数的递归执行的过程之中。
•在函数内部创建的变量对函数来说是本地的，而当函数终止时，该变量也就不存在了。
超级全局变量的完整列表如下：
•.$GOBALS 所有全局变量数组
•.$_SERVER 服务器环境变量数组
•.$_POST 通过POST方法传递给该脚本的变量数组
•.$_GET 通过GET方法传递给该脚本的变量数组
•.$_COOKIE cookie变量数组
•.$_FILES 与文件上传相关的变量数组
•.$_ENV 环境变量数组
•.$_REQUEST 所有用户输入的变量数组包括$_GET $_POST $_COOKIE 所包含的输入内容
•.$_SESSION 会话变量数组
实例讲解：

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
   $a = 4;
   function sendValue($x)
     {
        echo $x;
     }
    sendValue($a);
?>

讲解： $a定义在函数外，函数定义了参数，当函数被调用时，$a将以参数的形式被传递。因此上面代码能够正常运行。

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
    $a = 4;
    function sendValue()
     {
       echo $a;
    }
    sendValue();
?>

讲解：当函数被调用时，$a不能以参数的形式被传递。所以上面代码不能够正常运行。
变量范围
变量的范围即它定义的上下文背景（译者:说白了，也就是它的生效范围）。大部分的 PHP 变量只有一个单独的范围。这个单独的范围跨度同样包含了 include 和 require 引入的文件。范例:

代码如下:

<?php
$a = 1;
include "b.inc";
?>

这里变量 $a 将会在包含文件 b.inc 中生效。但是，在用户自定义函数中，一个局部函数范围将被引入。任何用于函数内部的变量按缺省情况将被限制在局部函数范围内。范例：

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
$a = 1; /* global scope */
function Test()
{
echo $a; /* reference to local scope variable */
}
Test();
?>

这个脚本不会有任何输出，因为 echo 语句引用了一个局部版本的变量 $a，而且在这个范围内，它并没有被赋值。你可能注意到 PHP 的全局变量和 C 语言有一点点不同，在 C 语言中，全局变量在函数中自动生效，除非被局部变量覆盖。这可能引起一些问题，有些人可能漫不经心的改变一个全局变量。PHP 中全局变量在函数中使用时必须申明为全局。
The global keyword
首先，一个使用 global 的例子：
例子 12-1. 使用 global

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
$a = 1;
$b = 2;
function Sum()
{
global $a, $b;
$b = $a + $b;
}
Sum();
echo $b;
?>

以上脚本的输出将是 "3"。在函数中申明了全局变量 $a 和 $b，任何变量的所有引用变量都会指向到全局变量。对于一个函数能够申明的全局变量的最大个数，PHP 没有限制。
在全局范围内访问变量的第二个办法，是用特殊的 PHP 自定义 $GLOBALS 数组。前面的例子可以写成：
例子 12-2. 使用 $GLOBALS 替代 global

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
$a = 1;
$b = 2;
function Sum()
{
$GLOBALS["b"] = $GLOBALS["a"] + $GLOBALS["b"];
}
Sum();
echo $b;
?>

在 $GLOBALS 数组中，每一个变量为一个元素，键名对应变量名，值变量的内容。$GLOBALS 之所以在全局范围内存在，是因为 $GLOBALS 是一个超全局变量。以下范例显示了超全局变量的用处：
例子 12-3. 演示超全局变量和作用域的例子

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
function test_global()
{
   // 大多数的预定义变量并不 "super"，它们需要用 'global' 关键字来使它们在函数的本地区域中有效。
   global $HTTP_POST_VARS;
   print $HTTP_POST_VARS['name'];
   // Superglobals 在任何范围内都有效，它们并不需要 'global' 声明。Superglobals 是在 PHP 4.1.0 引入的。
   print $_POST['name'];
}
?>

使用静态变量
变量范围的另一个重要特性是静态变量（static variable）。静态变量仅在局部函数域中存在，但当程序执行离开此作用域时，其值并不丢失。看看下面的例子：
例子 12-4. 演示需要静态变量的例子

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
function Test ()
{
   $a = 0;
   echo $a;
   $a++;
}
?>

本函数没什么用处，因为每次调用时都会将 $a 的值设为 0 并输出 "0"。将变量加一的 $a++ 没有作用，因为一旦退出本函数则变量 $a 就不存在了。要写一个不会丢失本次计数值的计数函数，要将变量 $a 定义为静态的：
例子 12-5. 使用静态变量的例子

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
function Test()
{
   static $a = 0;
   echo $a;
   $a++;
}
?>

现在，每次调用 Test() 函数都会输出 $a 的值并加一。
静态变量也提供了一种处理递归函数的方法。递归函数是一种调用自己的函数。写递归函数时要小心，因为可能会无穷递归下去。必须确保有充分的方法来中止递归。一下这个简单的函数递归计数到 10，使用静态变量 $count 来判断何时停止：
例子 12-6. 静态变量与递归函数

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
function Test()
{
   static $count = 0;
   $count++;
   echo $count;
   if ($count < 10) {
   Test ();
   }
   $count--;
}
?>

注: 静态变量可以按照上面的例子声明。如果在声明中用表达式的结果对其赋值会导致解析错误。
例子 12-7. 声明静态变量

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
function foo(){
   static $int = 0; // correct
   static $int = 1+2; // wrong (as it is an expression)
   static $int = sqrt(121); // wrong (as it is an expression too)
   $int++;
   echo $int;
}
?>

全局和静态变量的引用
在 Zend 引擎 1 代，驱动了 PHP4，对于变量的 static 和 global 定义是以 references 的方式实现的。例如，在一个函数域内部用 global 语句导入的一个真正的全局变量实际上是建立了一个到全局变量的引用。这有可能导致预料之外的行为，如以下例子所演示的：

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
function test_global_ref() {
   global $obj;
   $obj = &new stdclass;
}
function test_global_noref() {
   global $obj;
   $obj = new stdclass;
}
test_global_ref();
var_dump($obj);
test_global_noref();
var_dump($obj);
?>

执行以上例子会导致如下输出：

代码如下:

NULLobject(stdClass)(0) {}

类似的行为也适用于 static 语句。引用并不是静态地存储的：

代码如下:

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php
function &get_instance_ref() {
   static $obj;
   echo "Static object: ";
   var_dump($obj);
   if (!isset($obj)) {
   // 将一个引用赋值给静态变量
   $obj = &new stdclass;
   }
   $obj->property++;
   return $obj;
}
function &get_instance_noref() {
   static $obj;
   echo "Static object: ";
   var_dump($obj);
   if (!isset($obj)) {
   // 将一个对象赋值给静态变量
   $obj = new stdclass;
   }
   $obj->property++;
   return $obj;
}
$obj1 = get_instance_ref();
$still_obj1 = get_instance_ref();
echo "\n";
$obj2 = get_instance_noref();
$still_obj2 = get_instance_noref();
?>

执行以上例子会导致如下输出：

代码如下:

Static object: NULLStatic object: NULLStatic object: NULLStatic object: object(stdClass)(1) { ["property"]=> int(1)}

上例演示了当把一个引用赋值给一个静态变量时，第二次调用 &get_instance_ref() 函数时其值并没有被记住。