| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Perl: разработка для Web > lwp через прокси -- зависает! |
| Автор: burakov 8.5.2013, 08:36 |
| заметил что грабер основанный на LWP зависает при работе через прокси. вот задаю вот так. (в данном случае локальный прокси как пример) my $lwp = undef; $lwp = LWP::UserAgent -> new (); $lwp -> cookie_jar (HTTP::Cookies->new ()); $lwp -> agent ('Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16'); $lwp -> timeout (10); $lwp -> proxy ('http', 'http://127.0.0.1:8080'); потом вот эту строчку $lwp -> proxy ('http', 'http://127.0.0.1:8080'); меняю на каждый запрос. в конце концов. редко когда (объемы большие до 1000 000 запросов) заканчивается нормально. какой то поток подвисает. (напрямую если без прокси работать -- такого замечено не было -- довольно стабильно грабится) может есть какой подводный камень здесь? какой то таймаут для прокси еще указать ? где то ? кто нибудь сталикавался с подобным "подвисом"? Спасибо. |
| Автор: Pfailed 8.5.2013, 10:15 |
| forum.vingrad.ru/forum/topic-366250/kw-https-lwp.html |
| Автор: burakov 21.5.2013, 13:09 |
| решил написать, может кому поможет по моему в моем случае. скрипту просто не хватало памяти. на ВДС свопа по умолчанию не было. потоки просто умирали молча. |