Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > Perl: Общие вопросы > perl LWP скачать сайт


Автор: Loki 19.4.2017, 13:47
Не выходит скачать сайт:
Код

use strict;
use LWP::UserAgent;
use HTTP::Cookies;
use Encode qw(decode encode);




my $site = 'https://www.exploit-db.com/webapps/?order_by=date_published&order=desc&pg=1';
    my $cookie_jar = HTTP::Cookies->new(
     file => 'lwp_cookies.txt',
     autosave => 1,
     ignore_discard => 1,
   );

    my $ua = LWP::UserAgent->new(
        ssl_opts => { verify_hostname => 1 }, 
        cookie_jar => $cookie_jar,
        );
                    #$ua->timeout(10);
                    #$ua->agent('Opera/9.62 (Windows NT 6.0; U; ru) Presto/2.1.1');
    my $response = $ua->get($site);

 if ($response->is_success) {
  my $html = encode("cp866", $response->decoded_content);
    while( $html =~ m/download/ig ) {
    print "download;";
  }
 }
 else {
     die $response->status_line;
 }

Отвкт такой:
Код

403 Forbidden at db.pl line 31.

Куда копать, что делать?
Кукисы складываются.

Автор: arto 19.4.2017, 14:40
user-agent выставить

Автор: Loki 24.4.2017, 21:05
Выставил, не помогает.

Автор: arto 24.4.2017, 23:05
как сделали?

Автор: alezzz 25.4.2017, 10:38
Запустил у себя, раскомментировал юзерагент, ssl_opts => { verify_hostname => 1 } выставил в 0 и получил в stdout кучу download;

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)