Добрый день
подключаю прокси
вот так

$lwp -> proxy ('http', 'http://127.0.0.1:8080'); #подставляются разные внешние прокси

меняю адрес прокси перед каждым запросом GET
по некоторым всем понятным причинам  (грабер)

при этом 
вытормаживает так,
что машинка
3000 Мгц 512 ОЗУ 
тянет только одну копию грабера (4потока)

Вопрос.
почему так жрет ресурсы?
может можно как то оптимизировать установку этого прокси?
но условия такие же - менять на каждом GET запросе 

у кого есть опыт... помогите.

Что такое "вытормаживает"?   

ну это значит сильная загрузка процессора,
машинка 1000 Мгц 3*128 Озу
просто не справляется работать не возможно

а напрямую БЕЗ прокси все ок -  летает

А что за прокси? Может стоит формировать список оных внешним скриптиком, проверяя скажем раз в 5 минут? + хз как вы там делаете, я так понял нужен обычный грабер html страниц? Если да то вот процедурка:


т.е. обращаемся к процедуре так GetHtml($url,$ref,$proxy);  и соответсвенно $proxy берем из исходного списка скажем случайно  - на выходе html код $url, если конечно он живой.
ЗЫ да модули нужно подключить:
use LWP::UserAgent;
use HTTP::Cookies;

Добавлено через 13 минут и 53 секунды
ЗЫЫ Я тут подумал на нетрезвую голову  а может дело не в проксях а в "потоках", точнее в их организации, хотя ... всего 4 ...

Это сообщение отредактировал(а) FishHunter - 16.12.2011, 23:50

В том то и дело
что в Вашем случае
даже больше тормозить должно
(прокси и тоже готовые из списка беру)


поскольку Вы каждый раз экземпляр броузера создаете

я LWP один раз создаю
а потом только прокси меняю
и все равно пипец тормозит...

конечно "тормозит" величина сложно описываемая, но к примеру
машина, где все работает
3000 Мгц 512 ОЗУ

всего 4 потока выставил
ну блин притормаживает  - то есть комфортно себя чувствуют только грабер 
параллельно работать сложно...

вот я и спрашиваю - впечатления - у кого как?
может это и нормально...?
но если прокси так не менять на каждом запросе - то летает очень быстро.

а вот такая команда
$browser->proxy("http","http://$proxy")
что то переделывает в экземпляре броузера и я так понимаю в этом момент и загрузка проца идет сильная.

версия перл
ActivePerl-5.12.0.1200-MSWin32-x86-292396.msi
версия LWP последняя с cpan.org

поделитесь как быстро все должно работать?

Ошибки ищутся показом кода скрипта, а не какими-то странными сообщениями о торможении 4-х потоков постоянно сменяющихся прокси.

Спасибо, всем, кто откликнулся.

проблема решена - она была не в lwp->proxy
немного помучался и выяснил, что тормозила БД
поскольку объем вырос до 1000000 записей.
пришлось переписать грабер, чтобы в sql запросах where = было по индексированному столбцу
как только код был переписан - тормоза пропали.
хотел все это обмануть путем переделки my.cnf (my.ini) От Mysql под более "мощную" машину,
но этот путь к положительному результату не привел.
пришлось оптимизировать код грабера.

еще раз всем спасибо.
тему ззакрываю.