суть в следующем
у меня есть 1000 ссылок которые надо проверить на какие-то данные (какие щас это не важно)
все это дело надо проверить через прокси!

вопрос
как отделить ошибку самого сайта от ошибки прокси?
т.е. если не пашет прокся одно дело
если не пашет сайт другое

(проверять сайт по каким то параметрам типа текст какой-то, не подходит т.к. все сайты совершенно разные)

просто если работаешь через LWP он выдает допустим ошибку 404 или 500
и хер его знает чья это ошибка прокси или сервака (страницы что я проверяю)

как быть?

может есть вариант в Socet, IO::Socket ?

желательно примеры


заранее благодарю

Надо бы RFC посмотреть, но навскидку могу сказать что прокси не должен сам давать коды ответов HTTP. На то он и прокся что может лишь добавлять от себя некоторые заголовки, но не более того...

Вот тебе для справки коды ответов HTTP:
200 OK
201 Успешная команда POST
202 Запрос принят
203 Запрос GET или HEAD выполнен
204 Запрос выполнен но нет содержимого
300 Ресурс обнаружен в нескольких местах
301 Ресурс удален навсегда
302 Ресурс отсутствует временно
304 Ресурс был изменен
400 Плохой запрос от клиента
401 Неавторизованый запрос
402 Необходима оплата за ресурс
403 Доступ Запрещен
404 Ресурс не найден
405 Метод не применим для данного ресурса
406 Недопустимый тип ресурса
410 Ресурс Недоступен
500 Внутренняя ошибка сервера
501 Метод не выполнен
502 Неисправный шлюз либо перегруз сервера
503 Сервер недоступен/тайм-аут шлюза
504 Вторичный шлюз/тайм-аут сервера

DooZ

Ответ можно получить с помощью метода status_line, в котором будет указан код ошибки и краткое пояснение ошибки, в том числе ошибка прокси (например, 500 Invalid argument proxy).

perldoc LWP::UserAgent
perldoc HTTP::Request
perldoc HTTP::Response

вообщем стандартными методами не обойтись как выяснилось
в том числе разбором ответов

вариант походу один (посоветовали добрые люди)
проверять мелкую страницу на наличие строки например (100% существующую страницу) перед каждым коннектом...

=)

DooZ вот смотри:

Код

use strict; use LWP::UserAgent; sub get_page($) {  my $url = shift;  my $PROXY = '...'; # ссылка на массив с прокси-серверами  while (@$PROXY) {     my $agent = LWP::UserAgent->new(         'agent' => '...', # UserAgent         'cookie_jar' => {},         'timeout' => 15,     );     my $proxy = splice @$PROXY, rand @$PROXY, 1;     warn "$proxy\n";     $agent->proxy('http', "http://$proxy/") if $proxy;              my $request = $agent->get($url);     if ($request->is_success && (my $result = $request->content()) =~ m{</html>}i) {         warn "Get page\n";         return $result;     } else {         warn "Can't get page: ".$request->status_line."\n";     }  }  return; }

Это функция получения страницы по указанному url, использующая список прокси.
Если страница не получена, то указывается причина, т.е. статус - номер ошибки и короткое сообщение.

Вот лог работы скрипта:

Код

... Can't get page: 500 Can't connect to 68.2.130.126:7212 (connect: timeout) Can't get page: 500 Can't connect to 222.89.166.205:3128 (connect: Invalid argument) Can't get page: 500 Server closed connection without sending any data back Get page ...

Как видишь, это все ошибки прокси, которых отверг url.
В данном случае не было ошибок сайта, т.к. url - валидный.
Но status_line показывает все ошибки, возникшие при получение страницы, например,

Код

Can't get page: 302 Page removed

ага проходили такое
бывают такие прокси которые пишут
Your IP address is not recognized
CoDeeN CDN Network
типа того
и никакой ошибки... но сайт (страница) не получается...
делайте выводы

DooZ

Цитата(DooZ @ 1.12.2005, 03:41)

бывают такие прокси которые пишут Your IP address is not recognized

так это проблема прокси, а не кода.