заметил что грабер основанный на LWP зависает при работе через прокси.

вот задаю вот так. (в данном случае локальный прокси как пример)

my $lwp = undef;
$lwp = LWP::UserAgent -> new ();
$lwp -> cookie_jar (HTTP::Cookies->new ());
$lwp -> agent ('Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16');
$lwp -> timeout (10);
$lwp -> proxy ('http', 'http://127.0.0.1:8080');


потом вот эту строчку
$lwp -> proxy ('http', 'http://127.0.0.1:8080');
меняю на каждый запрос.

в конце концов. редко когда (объемы большие до 1000 000 запросов) заканчивается нормально.
какой то поток подвисает. (напрямую если без прокси работать -- такого замечено не было -- довольно стабильно грабится)

может есть какой подводный камень здесь?
какой то таймаут для прокси еще указать ? где то ?

кто нибудь сталикавался с подобным "подвисом"?


Спасибо.

Это сообщение отредактировал(а) burakov - 8.5.2013, 08:37

forum.vingrad.ru/forum/topic-366250/kw-https-lwp.html

решил написать, может кому поможет
по моему в моем случае. скрипту просто не хватало памяти.
на ВДС свопа по умолчанию не было. потоки просто умирали молча.