VPF::LWP::UserAgent - Форум программистов

SATYR

Дата 28.11.2006, 18:12 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 73
Регистрация: 24.5.2005

Репутация: нет
Всего: нет

Всем добррого времени.
Долго ковырялся в инете, но не нашел ответа на это вопрос. smile

Поэтому излагаю его. smile

При попытке загрузить страницу посредством LWP::UserAgent наблюдаются тормоза при выполнение $agent->request($req), тормоза доходят по времени где-то да 30-40 с на запрос (не оченьто православно).
Причем пытался загружать странички как с удаленных хостов так и с локальной машины, пробовал использовать RobotUA вместо UserAgent
результат тот же smile

собсно код

Код


....
 my $agent= LWP::UserAgent->new();    
       $agent->proxy('http',"http://$proxy/") if(defined($proxy));        
 my $req= HTTP::Request->new();
       $req->method('GET');
       $req->header(Accept => "text/html");
       $req->uri($url);
 my $response=$agent->request($req); # тормозит здесь
.....

Народ подскажите как-нибудь можно ускорить процес загрузки страничек или такое поведение ( тормоз в $agent->request($req)) норма для этих модулей?
З.Ы. Просто сталкиваюсь с это проблемой второй раз smile

раньше грешил на ActiveState, сейчас сижу вроде под *nix системой.

DiverD

Дата 28.11.2006, 23:13 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 225
Регистрация: 14.9.2005
Где: Белорусь

Репутация: нет
Всего: 2

хм. у меня все нормал грузит без проблем - может все таки дело все в proxy?

--------------------

[ FreeBSD & pERL p0WER eVERY dAY ]

polanski10

Дата 20.1.2007, 18:16 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 4
Регистрация: 19.1.2007
Где: Москва

Репутация: нет
Всего: нет

Уверены ли вы в своей проксе, как вы её генерите, может она уже сдохла?
Рабочий код:

Код


#!/usr/bin/perl -w

use strict;
use LWP::UserAgent;
use HTTP::Request;

my $url = 'http://www.yandex.ru';
my $ua = LWP::UserAgent->new;
$ua->timeout(15);
$ua->agent("Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.7.13) Gecko/20060414");

    my $req = HTTP::Request->new(GET => $url);
    my $res = $ua->request($req);
    if ($res->is_success) {
         my $content = $res->content;
         #работаем с $content
    }
    else {
        print ВАШ_ЛОГ $res->status_line ,"\n";
    }

Доработайте генератор проксей, мне кажется дело может быть только в нём

DiverD

Дата 21.1.2007, 02:42 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 225
Регистрация: 14.9.2005
Где: Белорусь

Репутация: нет
Всего: 2

polanski10 да нет тут проблем=) и у вас в кодде вообще нет работы с прокси!

--------------------

[ FreeBSD & pERL p0WER eVERY dAY ]

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Perl: разработка для Web \| Следующая тема »