Версия для печати темы Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Perl: разработка для Web > Скачать первые несколько байт файла

Автор: djusha 20.4.2011, 21:51

Доброго времени суток! возникла необходимость получать скриптом не все файлы, а только первые несколько байт, поскольку нужная информация именно там  В принципе приведенный ниже пример работает, но все равно долго... 5-7 секунд для скачивания первых байт это долго... Есть ли идеи получше? Код #!/usr/bin/perl  use strict;  use warnings; use LWP::UserAgent; my $max_size   = 6;      # размер в байтах my $ua = LWP::UserAgent->new; my $req = HTTP::Request->new('GET' => "ftp://ftp.microsoft.com/developr/Interix/interix22/gcc.source.shlib.0.2.tar"); # этот большой файл только для примера #my $req = HTTP::Request->new('GET' => "ftp://ftp.microsoft.com/developr/Interix/interix22/GPL.TXT"); my $res = $ua->request($req, \&callback, 6);  my $size = 0;  my $res_content;    sub callback {     my($data, $response, $protocol) = @_; $size +=  length($data); $res_content .= $data; if($size > $max_size) { die; }}  print $res_content . "\n\n ".  length($res_content) . "\n\n";            # файл

Автор: djusha 20.4.2011, 22:14

другой вопрос по вышеприведенному скрипту... хочу завернуть его в подпрограмму... Код #!/usr/bin/perl  use strict;  use warnings;   sub checkCYImage { # use LWP::UserAgent; my $max_size   = "7";      # размер в байтах my $ua = LWP::UserAgent->new; my $req = HTTP::Request->new('GET' => "ftp://ftp.microsoft.com/developr/Interix/interix22/gcc.source.shlib.0.2.tar"); #my $req = HTTP::Request->new('GET' => "ftp://ftp.microsoft.com/developr/Interix/interix22/GPL.TXT"); my $res = $ua->request($req, \&callback, $max_size);  my $size = 0;  my $res_content;  sub callback {     my($data, $response, $protocol) = @_; $size +=  length($data); $res_content .= $data; if($size > $max_size) { die; }} return $res_content . "\n\n ".  length($res_content) . "\n\n";            # файл } my $file = &checkCYImage(); print $file . "\n"; но получаю ошибку.... Variable "$size" will not stay shared at tic_by_image.cgi line 22. Variable "$res_content" will not stay shared at tic_by_image.cgi line 22. Variable "$max_size" will not stay shared at tic_by_image.cgi line 22. понимаю, что это из за того, что в подпрограмме вложенная программа  "sub callback" как это оформить правильно?

Автор: Pfailed 21.4.2011, 07:20

Цитата(djusha @  20.4.2011,  21:51 ) 5-7 секунд для скачивания первых байт это долго Большую часть из этого времени занимают команды ftp. Открытие соединения, переход в нужную директорию, создание канала для передачи файла и т.д. В случае с http должно быть быстрее, потому как там выполняется только 1 запрос на сервер. Цитата(djusha @  20.4.2011,  22:14 ) хочу завернуть его в подпрограмму Используйте анонимную подпрограмму. В таком духе Код my $res = $ua->request($req, sub { здесь нужный код }, $max_size);

Автор: djusha 21.4.2011, 21:34

Цитата(Pfailed @ 21.4.2011,  07:20) Цитата(djusha @  20.4.2011,  21:51 ) 5-7 секунд для скачивания первых байт это долго Большую часть из этого времени занимают команды ftp. Открытие соединения, переход в нужную директорию, создание канала для передачи файла и т.д. В случае с http должно быть быстрее, потому как там выполняется только 1 запрос на сервер. Цитата(djusha @  20.4.2011,  22:14 ) хочу завернуть его в подпрограмму Используйте анонимную подпрограмму. В таком духе Код my $res = $ua->request($req, sub { здесь нужный код }, $max_size); За подсказку в направлении анонимной подпрограммы большое человеческое спасибо! работает Для общего ознакомления... имеются ли еще какие либо пути для скачивания части файлов?

Автор: DurRandir 21.4.2011, 22:31

Для HTTP можно указать Range-запрос. Не знаю правда, насколько просто это сделать через LWP.

Автор: Pfailed 22.4.2011, 07:43

Цитата(DurRandir @  21.4.2011,  22:31 ) Для HTTP можно указать Range-запрос. Не знаю правда, насколько просто это сделать через LWP.  Очень просто: http://forum.vingrad.ru/index.php?showtopic=323196&view=findpost&p=2304267 Цитата(djusha @  21.4.2011,  21:34 ) имеются ли еще какие либо пути для скачивания части файлов?  С ftp можно попробовать в таком духе Код use Net::FTP; my $ftp = Net::FTP->new('ftp.microsoft.com', Passive => 1)     or die $@;      $ftp->login('anonymous')     or die $ftp->message; $ftp->binary(); my $fh = $ftp->retr('/developr/Interix/interix22/gcc.source.shlib.0.2.tar')     or die $ftp->message;      my $max_size = 6; my $buf; while (length($buf) < $max_size) {     sysread($fh, $buf, $max_size, length($buf))         or last; } eval { $fh->close() }; $ftp->quit();

Автор: djusha 25.4.2011, 05:49

всем спасибо! Просто за скрипты берусь наскоками, иногда забываю, что раньше делал, и что мне раньше советовали

Автор: djusha 25.4.2011, 09:05

что то не так делаю... вместо 50 байт он всю страницу выдает... Код #!/usr/bin/perl  use strict;  use warnings; my $url = 'http://www.google.ru'; use LWP::UserAgent; my $ua = LWP::UserAgent->new; #$ua->proxy('http', "http://192.168.0.1:3128"); #  прокси # $ua->env_proxy; #$ua->agent("Opera/9.80 (J2ME/MIDP; Opera Mini/4.1.15082/23.377; U; en) Presto/2.5.25 Version/10.54"); # pretend we are very capable browser $ua->timeout(145); my $response = $ua->get($url, Range => 'bytes=50-');   if ($response->is_success) { my $content = $response->content;  print $content;     } else {        print ($response->status_line);  }

Автор: Pfailed 25.4.2011, 10:31

Цитата(djusha @  25.4.2011,  09:05 ) что то не так делаю... вместо 50 байт он всю страницу выдает... Читаем по ссылке http://forum.vingrad.ru/topic-323196/view-findpost/p-2304267.html Цитата Но на большинстве серверов это работает только на отдачу статических файлов, с динамически генерируемыми страницами работать не будет. Добавлено через 6 минут и 47 секунд Цитата(djusha @  25.4.2011,  09:05 ) вместо 50 байт он всю страницу выдает... Плюс ко всему 'bytes=50-' означает "выдать весь файл кроме первых 50 байт" Скачать 50 байт, как можно догадаться 'bytes=0-50'

Автор: djusha 25.4.2011, 13:21

Цитата(Pfailed @ 25.4.2011,  10:31) Цитата Но на большинстве серверов это работает только на отдачу статических файлов, с динамически генерируемыми страницами работать не будет. прочитать то прочитал... но.... Код В HTTP есть для этого специальное средство, кажется это называется byte ranges. Но на большинстве серверов это работает только на отдачу статических файлов, с динамически генерируемыми страницами работать не будет. В LWP это можно сделать так понял, что это относится только к HTTP в любом случае спасибо!

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)