Всем привет!
Создал многопоточный скрипт прокси-чекер (за счет функций curl_multi_*).
Проверяет прокси, одновременно в 10-20 потоков.
Как только ответ от прокси получен, дескриптор удаляется, на его место ставится следующее прокси.
Поставил работать скрипт, работает довольно быстро. Но где-то на 950-м прокси компьютер затормозил. В диспетчере задач файл подкачки использован почти под завязку!
Трассировал хДебагом, он показывает изменения памяти максимум мегабайт на 5. Но фактически файл подкачки увеличивается в объеме мегабайт на 500-1000!
Вот скрин диспетчера:
Сам скрипт:
| Код |
$test_url='http://example.com/';
$max_threads=20;
$proxylist=file_get_contents('http_proxy.txt');
$sep=explode("\n",$proxylist);
$proxylist=array();
foreach($sep as $v){
$r=explode(':',$v);
$proxylist[]=array(
'host'=>$r[0],
'port'=>$r[1]
);
}
$chs = array();
foreach($proxylist as $v){
$ch=curl_init();
curl_setopt_array($ch,array(
CURLOPT_URL=>$test_url,
CURLOPT_HEADER=>true,
CURLOPT_RETURNTRANSFER=>true,
CURLOPT_FAILONERROR=>false,
CURLOPT_PROXY=>$v['host'],
CURLOPT_PROXYPORT=>$v['port'],
CURLOPT_CONNECTTIMEOUT=>10,
CURLOPT_TIMEOUT=>20,
));
$chs[]=$ch;
}
$result=array();
$active_threads=array();
$active=0;
$queue_pointer=0;
$mh=curl_multi_init();
do{// выполняется, пока все не будет выполнено
if($active<$max_threads && $queue_pointer<count($chs)){// добавить в очередь
curl_multi_add_handle($mh,$chs[$queue_pointer]);
$queue_pointer++;
}
$mrc=curl_multi_exec($mh,$active);
//$active_threads[]=$active;
$r=curl_multi_info_read($mh);
if(is_array($r)){// если готов какой-нибудь контент, записать
$content=curl_multi_getcontent($r['handle']);
$info=curl_getinfo($r['handle']);
//foreach($chs as $k=>$curldsc)if($curldsc==$r['handle']){curl_close($chs[$k]);unset($chs[$k]);} // ---- не помогает
curl_multi_remove_handle($mh,$r['handle']);
curl_close($r['handle']);
$result[]=array(
'content'=>$content,
'info'=>$info,
'code'=>$r['result'],
);
/*unset($r['handle']); ---- тоже не помогает
unset($content);
unset($info);
unset($r);*/
}
}while(($mrc==CURLM_CALL_MULTI_PERFORM || $active) && file_get_contents('stop.txt')=='');
curl_multi_close($mh);
|
Как решить проблему? |
я буду смотреть на дату поста, я буду смотреть на дату поста, я буду смотреть на дату поста, я буду смотреть на дату поста -)