У меня скрипт на Perl проверяющий живы ли ссылки, написан c помощью 
LWP, работает нормально, но иногда выдает ответ Timeout, но рабочую ссылку 
я уже и так поднял Timeout=120, что делать может у кого-то 
есть идеи ? 
Выдаёт "Cant connect Timeout", на рабочую ссылку где-то в 1 из 10 запросов ! Может это глюк LWP agenta или глюк сервера ?

stan777, как говорится, код в студию 
И ссылку, по вашим словам "рабочую" 

Добавлено @ 16:48 
stan777, это обычно, если нерабочая ссылка  или у вас прокси 

Не обязательно, таки может быть перегруз сервера, если даж Ваш скрипт делает оччень много запросов, то такое мож случиться... попробуйте sleep 1 вставить меж запросами... то есть таймаут для LWP можно и уменьшить, а вот время меж запросами какое-то сделать.
Ну и конечно как заметил nitr, прокси на это влияет сильно.

Также может быть защита от DDoS на сервере, с одного IP слишком много запросов сразу...

Переход на гет в случии не удачи хедом конечно уменьшает количество ответов таймаут, но редко они выпадают, Ссылка на которой она выпадает это rambler.ru. Вот такие дела.   

Это сообщение отредактировал(а) stan777 - 31.1.2007, 12:27

Ну вот как раз в рамблере и может стоять защита от слишком частых запросов с одного адреса... 
Я такое у яндекса наблюдаю, посему и писал свой прокси чекер  чтоб IP не слишком часто повторялся...

А где ты там видишь много запросов? Tам всего по одному на ссылку !

Это сообщение отредактировал(а) stan777 - 29.1.2007, 18:29

stan777, ты это не указал 
т.е. в @var = (..., 'rambler.ru') ?

да точно а ты думаешь он одновремеено все из @var посылать будет я думаю он должен дожаться response'a ! Или нет ?

Добавлено @ 18:39 
хорошо как вы советовали по экспериментирую со sleep(2); 2-думаю должно хватить.

Добавлено @ 18:47 
stan777, похоже он имел ввиду, что ты скрипт запустил наверное уже не в первый раз  вот и забанили 

Это сообщение отредактировал(а) nitr - 29.1.2007, 18:45

Если ты обновишь страницу тебя не забанят, кстати я нашел отличную ссылку по этому делу
http://dev.w3.org/cvsweb/validator/httpd/c...ic/checklink.pl?
можно сравнить професиональный код с моим  и решить где ошибки.

Добавлено @ 18:50 
особенно интересно смотреть раннии версии.
Забуть ты про бан дело не в бане. 
а это обезательно указывать $AGENT->env_proxy; просто я смотрю некоторые "хакеры" указывают..


Это сообщение отредактировал(а) stan777 - 29.1.2007, 19:03

И что эта ссылка? Она при чём здесь? У тебя ошибка с таймаутом, что это значит... гугля ответит 

stan777, покаж плиз весь код, и список адресов приведи....
а то беспредметный разговор получается.... а скрипт ты интересный нашел, поизучаю на досуге...

В файле links.txt две ссылки http://rambler.ru и http://rambler.ru/news/ програма проверяет ссылки в 6 утра и отправляет почту. Может 1 из 10 проверок даст результат "Cann't connect to http://rambler.ru Timeout". Я пытался увеличивать таймаут довел до 120, но ошибка проболжала выскакивать. Да, еще одно явление, что две ссылки результат "Cann't connect to Timeout", выдавала ли одна либо вторая. В чем конкретно дело, понять не могу? Мне вот подсказали что возможно нужно между запросами, ставить задержку типа: sleep(2);  Я еще это не опробывал...

Это сообщение отредактировал(а) stan777 - 31.1.2007, 13:10

Щас протестировал этот код в ActivePerl в WindowsXP, запустил его как минимум 100 раз,  ни одного "cann't connect to (Timeout)". Видемо дело но в коде. Щас протестирую на Линуксе 9.2 и перле 5.8.2

Это сообщение отредактировал(а) stan777 - 31.1.2007, 13:09

stan777, твой код можно править и править... (имхо)
вот мааааленький кусочек:


ещё, тоже имхо, но может кто согласится  если уж используешь LWP::UserAgent, так зачем ещё что-то? Там полный комплект =) да и работает он так же с такими же модулями... одно на другое...

Добавлено @ 00:57 
В своём примере выше уже показал работу с LWP::UserAgent, имхо верную...

Добавлено @ 00:58 
И как любому новичку пишу - ЭТО СОВЕТЫ