VPF::perl LWP recursion - Форум программистов

Loki

Дата 25.3.2017, 06:21 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 244
Регистрация: 9.7.2006

Репутация: нет
Всего: нет

Как сделать рекурсию в LWP?
Если раскомитить inetget() после push, выходит die.

Код


sub inetget {
my $site = shift;

my $cookie_jar = HTTP::Cookies->new(
     file => 'lwp_cookies.txt',
     autosave => 1,
     ignore_discard => 1,
   );

    my $ua = LWP::UserAgent->new(
        ssl_opts => { verify_hostname => 1 }, 
        cookie_jar => $cookie_jar,
        );
                    #$ua->timeout(10);
                    #$ua->agent('Opera/9.62 (Windows NT 6.0; U; ru) Presto/2.1.1');
    my $response = $ua->get($site);

 if ($response->is_success) {
  my $html = encode("cp866", $response->decoded_content);
  while( $html =~ m/<A HREF=\"(.*?)\"/ig ) {
    my $page = $1;
    my $url;
    if($page =~ /^\/.*\/$/){
    $page =~ s/^\///g;
    $url = $site . $page;
    push(@pages,$url);
        #inetget($url);
    }
  }
 }
 else {
     die $response->status_line;
 } 
}

arto

Дата 27.3.2017, 07:52 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1495
Регистрация: 31.10.2004

Репутация: 38
Всего: 40

а как надо?

Loki

Дата 28.3.2017, 10:14 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 244
Регистрация: 9.7.2006

Репутация: нет
Всего: нет

Если я так делаю, то получаю после загрузки страницы
die $response->status_line;
и ничего больше не загружается, скрипт останавливается.

arto

Дата 28.3.2017, 11:19 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1495
Регистрация: 31.10.2004

Репутация: 38
Всего: 40

посмотрите, что ва отдаёт сервер, print $response->as_string

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Perl: Общие вопросы \| Следующая тема »