PHP 中 curl_init() 单线程和 curl_multi_init() 多线程抓取页面的速度比较

学习笔记马富天 2016-10-12 11:15:23 86 0

【摘要】curl_init() 处理事物是单线程模式，如果需要对事务处理走多线程模式，那么 php 里提供了一个函数 curl_multi_init() 给我们，这就是多线程模式处理事务的函数，本文比较一下 PHP 中使用单线程和多线程抓取页面的速度的比较。

我们要抓取 http://www.mafutian.net 网页中的内容，要连续抓 100 次，比较两种方式的执行时间，下面是完整的源代码，可直接复制到 PHP 文件中执行即可：

//	要抓取的网页

$szUrl = 'http://www.mafutian.net';

$count = 100;	//	抓取次数

echo '单线程和多线程抓取网页 '.$szUrl.' '.$count.'次的时间分别是：<br />';

//	=========== 采用单线程方法抓取页面的时间 BEGIN =========== //

$begin_time = getMicrotime();

for($i = 1; $i <= $count; $i++)

	signle_get_url($szUrl);

$end_time = getMicrotime();

echo '单线程：'.($end_time - $begin_time).'秒';

echo '<br />';

//	=========== 采用单线程方法抓取页面的时间 END =========== //

//	=========== 采用多线程方法抓取页面的时间 BEGIN =========== //

$urls = array();

for($i = 1;$i <= $count;$i++)

	array_push($urls,$szUrl);

$begin_time = getMicrotime();

multi_get_url($urls);

$end_time = getMicrotime();

echo '多线程：'.($end_time - $begin_time).'秒';

echo '<br />';

//	=========== 采用多线程方法抓取页面的时间 END =========== //

//	获取当前的时间戳（含微秒）

function getMicrotime()

	list($usec,$sec) = explode(" ",microtime());

	return ((float)$sec + (float)$usec);

//	curl_init() 单线程抓取页面：signle_get_url()

function signle_get_url($url)

	$curl = curl_init();

	curl_setopt($curl, CURLOPT_URL, $url);

	curl_setopt($curl, CURLOPT_HEADER, 0);

	curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

	curl_setopt($curl, CURLOPT_ENCODING, '');

	$data = curl_exec($curl);

	return $data;

//	curl_multi_init() 多线程抓取：multi_get_url()

function multi_get_url($url_array, $wait_usec = 0)

    if (!is_array($url_array))

        return false;

    $wait_usec = intval($wait_usec);

    $data    = array();

    $handle  = array();

    $running = 0;

    $mh = curl_multi_init(); // 返回一个新 cURL 批处理句柄

    $i = 0;

    foreach($url_array as $url)

        $ch = curl_init();

        curl_setopt($ch, CURLOPT_URL, $url);

        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print

        curl_setopt($ch, CURLOPT_TIMEOUT, 30);

        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');

        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect

        curl_setopt($ch, CURLOPT_MAXREDIRS, 7);

        curl_multi_add_handle($mh, $ch); // 向 curl 批处理会话中添加单独的 curl 句柄

        $handle[$i++] = $ch;

do{

    	//	运行当前 cURL 句柄的子连接

        curl_multi_exec($mh, $running);

        if($wait_usec > 0)

            usleep($wait_usec);

    }while($running > 0);

    foreach($handle as $i => $ch)

    	//	如果设置了CURLOPT_RETURNTRANSFER，则返回获取的输出的文本流

        $content  = curl_multi_getcontent($ch);

        $data[$i] = (curl_errno($ch) == 0) ? $content : false;

    /* 移除 handle*/

    foreach($handle as $ch)

    	//	移除 curl 批处理句柄资源中的某个句柄资源

        curl_multi_remove_handle($mh, $ch);

    //	关闭 cURL 句柄

    curl_multi_close($mh);

    return $data;

执行结果如图：

单线程和多线程抓取网页 http://www.mafutian.net 100次的时间分别是：

单线程：21.258215904236秒

多线程：3.6812100410461秒

由此可见，多线程所花费的时间远比单线程耗时短。

顶0

踩0