VPF::LWP::Parallel своя прокся на каждый запрос

DooZ

Дата 18.7.2008, 17:50 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 206
Регистрация: 25.11.2005

Репутация: нет
Всего: 1

добрый день
подскажите плиз, как в LWP::Parallel каждый запрос делать со своей проксей

если исходить из примера:

Код


require LWP::Parallel::UserAgent;
use HTTP::Request;

my $url = "http://localhost/"; 

  my $reqs = [  
     HTTP::Request->new('GET', $url),
     HTTP::Request->new('GET', $url."homes/marclang/"),
  ];

  my $pua = LWP::Parallel::UserAgent->new();
  $pua->in_order  (1);  # handle requests in order of registration
  $pua->duplicates(0);  # ignore duplicates
  $pua->timeout   (2);  # in seconds
  $pua->redirect  (1);  # follow redirects
  $pua->proxy('http', 'http://111.111.111.111');

  foreach my $req (@$reqs) {
    print "Registering '".$req->url."'\n";
    if ( my $res = $pua->register ($req) ) { 
        print STDERR $res->error_as_HTML; 
    }  
  }
  my $entries = $pua->wait();

  foreach (keys %$entries) {
    my $res = $entries->{$_}->response;

    print "Answer for '",$res->request->url, "' was \t", $res->code,": ",
          $res->message,"\n";
  }

то тут поидее одна прокся на все запросы юзается
а мне надо что бы КАЖДЫЙ запрос, использовал свою проксю

и еще один вопрос
после того как отработал запрос: в my $entries = $pua->wait(); возвращаются все готовые данные
как бы сделать так что допустим при запросе на сайт, http://1.com юзалась прокся 1.1.1.1 при получении $entries знать что такой-то ответ это от такого-то урла, на котором юзалась данная прокся?

заранее благодарю

DooZ

Дата 19.7.2008, 14:24 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 206
Регистрация: 25.11.2005

Репутация: нет
Всего: 1

никто не пользовался?

тогда может с curl::multi для перла работал кто-то? есть примерчик аналогичный (каждый коннект, своя прокся)?

tolkien

Дата 19.7.2008, 15:33 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 277
Регистрация: 5.4.2008

Репутация: 4
Всего: 4

Я могу тебе пример привести на чистом перл твоей задачи. Надо?

DooZ

Дата 19.7.2008, 15:56 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 206
Регистрация: 25.11.2005

Репутация: нет
Всего: 1

был бы очень благодарен smile

tolkien

Дата 19.7.2008, 17:03 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 277
Регистрация: 5.4.2008

Репутация: 4
Всего: 4

10 WMZ

DooZ

Дата 19.7.2008, 17:23 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 206
Регистрация: 25.11.2005

Репутация: нет
Всего: 1

напиши какие модуль юзает твой пример, что делает, как делает?
деньги не большие, но платить неизвестно за что не буду

tolkien

Дата 19.7.2008, 17:39 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 277
Регистрация: 5.4.2008

Репутация: 4
Всего: 4

Может юзать все что предназначено для работы с http. LWP, curl или свое. Работает так получает url если есть для нее прокся. Делает запрос по url через проксю. Дальше обрабатывает ответ. Многопроцессорность задается (сколько одновременно делается запросов).

DooZ

Дата 19.7.2008, 22:17 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 206
Регистрация: 25.11.2005

Репутация: нет
Всего: 1

ну на форках у меня все прекрасно + LWP работает
мне надо именно LWP::Parallel + fork

точнее надо знать как в LWP::Parallel задать на каждый запрос свою проксю!

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Perl: Общие вопросы \| Следующая тема »