Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Perl: Общие вопросы > Как скачать файлы по https?

Автор: kuksha 3.3.2019, 11:28

Здравствуйте.
Нужно скачать кучу файлов с сайта из моего личного профиля. Если качать без логина и пароля, то в скачанном контенте нет моих данных - только стандартные таблицы. Сохранять файлы руками из браузера - не вариант, их там сотни накопились...
Пробовал LWP вот так:

Код


use LWP::Simple; 
use LWP::UserAgent;
use HTTP::Cookies;

    my $cookie_jar = HTTP::Cookies->new(
     file => 'lwp_cookies.txt',
     autosave => 1,
     ignore_discard => 1,
   );   
    my $ua = LWP::UserAgent->new(
        ssl_opts => { verify_hostname => 1 }, 
        cookie_jar => $cookie_jar,
        );
        $ua->timeout(10);
    my @ns_headers = (
        'User-Agent' => 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
        'Accept' => 'image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, image/png, */*',
        'Accept-Charset' => 'iso-8859-1,*,utf-8',
        'Accept-Language' => 'en-US',
  );
$url="https://XXXXXX.YYY";
my $response = $ua->get($url, @ns_headers);
my $content    = $response->content;

Агент устаревший здесь указан, но вряд ли из-за этого - я же не вхожу в профиль, вот и не получается наверное...
Вставка логина и пароля в адресную строку не помогает:

Код


$url="https://mylogin:[email protected]";

Как использовать логин и пароль для авторизации?

Автор: kuksha 3.3.2019, 23:33

Попробовал так:

Код


 use LWP 5.64;
  my $browser = LWP::UserAgent->new;

    $browser->credentials( 
    'XXXX.YYY:443',
    '',
    'My_LOGIN' => 'MY_PASSWORD'
  );
  
  my $url = 'https://XXXX.YYY/zzz/?param1=1&param2=10&uid=123456';
  my $response = $browser->get($url);

  die "Error: ", $response->header('WWW-Authenticate') ||
    'Error accessing',
    "\n ", $response->status_line, "\n at $url\n Aborting"
   unless $response->is_success;

my $response = $browser->get($url);
my $content  = $response->content;

open (PW,">>1.html");
    print PW $content;        
close (PW);

Результат тот же - незаполненный шаблон странички, в консоли тишина, ошибок нет... как будто и не передавал логин с паролем.

Автор: arto 4.3.2019, 07:44

наверное используется другой механизм аутентикации.

Автор: kuksha 4.3.2019, 22:31

Цитата(arto @ 4.3.2019, 07:44)

наверное используется другой механизм аутентикации.

Хотелось бы пример использования этих самых "других механизмов" в Perl.
smile

Автор: alezzz 5.3.2019, 08:07

В браузерах есть режим разработчика, там можно посмотреть и код страницы где вводишь логин/пароль, и как эти данные уходят на сервер по сети.

Автор: arto 5.3.2019, 10:42

GET https://test.net/?user=test;pass=salasana