 |
|
Модераторы: korob2001, ginnie |
 
|
|
Проверка прокси, элегантное решение 
| FishHunter |
|
|||
|
Новичок Профиль Группа: Участник Сообщений: 47 Регистрация: 12.2.2009 Репутация: нет Всего: нет |
Привет всем,
Может кто подскажет как быстро и эффективно проверять прокси на годен/не годен? Я делаю следующим образом: с помощью lwp качаю какуюнить страницу известную, например гугл используя проверяемый прокси далее смотрю на ошибку если она есть. Наверняка существует более изящный способ?  |
|||
|
||||
Загрузка ...
| ginnie |
|
|||
 Эксперт  Профиль Группа: Комодератор Сообщений: 1287 Регистрация: 6.1.2008 Где: Москва Репутация: 38 Всего: 49 |
FishHunter, более изящным вижу только использование мультиплексирования запросов (т.е. одновременная отсылка запросов к нескольким proxy) при помощи event loop и запрашивать url со своего сайта, который выдает в ответ заголовки Via и X-Forwarded-For.
-------------------- Написать код, понятный компьютеру, может каждый, но только хорошие программисты пишут код, понятный людям. (Мартин Фаулер. Рефакторинг) |
|||
|
||||
| mvsgt |
|
|||
|
Бывалый Профиль Группа: Участник Сообщений: 209 Регистрация: 27.3.2009 Репутация: 1 Всего: 1 |
Я когда-то сделал на своём сайте скриптик, возвращающий в теле http ответа поступивший запрос. А на перле через несколько потоков читал этот скриптик с помощью LWP. Была мысль использовать ParallelUserAgent , но провалилась. Через евенты, я думаю, будет не лучший вариант, но по памяти многопоточный очень накладный.
|
|||
|
||||
| ginnie |
|
|||
|
Эксперт Профиль Группа: Комодератор Сообщений: 1287 Регистрация: 6.1.2008 Где: Москва Репутация: 38 Всего: 49 |
mvsgt, многопоточный - использующий не threads, а несколько одновременных запросов в рамках одного процесса. Event loop для обработки соединений. В чем видите проблему? По памяти накладные расходы незначительны. По производительности выигрыш из-за параллельности и асинхронности запросов.
-------------------- Написать код, понятный компьютеру, может каждый, но только хорошие программисты пишут код, понятный людям. (Мартин Фаулер. Рефакторинг) |
|||
|
||||
| KSURi |
|
|||
 Опытный Профиль Группа: Участник Сообщений: 887 Регистрация: 8.6.2006 Где: Russia Репутация: 20 Всего: 27 |
Что-то новенькое... А что же тогда такое threads? Это сообщение отредактировал(а) KSURi - 24.9.2009, 16:57 -------------------- Died at Life.pl line 21 |
|||
|
||||
| ginnie |
|
|||
|
Эксперт Профиль Группа: Комодератор Сообщений: 1287 Регистрация: 6.1.2008 Где: Москва Репутация: 38 Всего: 49 |
KSURi, я неверно выразил свою мысль. Просто хотел mvsgt, пояснить, что говорил о мультиплексном (обрабатывающем несколько одновременных соединений в рамках одного потока исполнения) приложении, без использования threads.
-------------------- Написать код, понятный компьютеру, может каждый, но только хорошие программисты пишут код, понятный людям. (Мартин Фаулер. Рефакторинг) |
|||
|
||||
| mvsgt |
|
|||
|
Бывалый Профиль Группа: Участник Сообщений: 209 Регистрация: 27.3.2009 Репутация: 1 Всего: 1 |
Я понял что без thread. Просто однажды мне в голову пришла мысль, что если я использую прокси вместе с LWP, то для чистоты эксперимента и проверять надо прокси через LWP, а это только с нитями.
А вообще профессионалы на С пишут проверяльщики, там объёмы такие могут быть что никакой перл не справится. |
|||
|
||||
|
|
| Правила форума "Perl" | |
|
|
Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, korob2001, sharq. |
| 1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей) | |
| 0 Пользователей: | |
| « Предыдущая тема | Perl: Общие вопросы | Следующая тема » |
[ Время генерации скрипта: 0.0651 ] [ Использовано запросов: 21 ] [ GZIP включён ]
Реклама на сайте Информационное спонсорство
|
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |