Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Perl: Общие вопросы > Скачивание страницы из интернета

Автор: Suppir 27.7.2012, 12:06

Добрый день!

Скачиваю с помощью Perl страницу из интернета:
http://catalog.2gis.ru/krasnodar/i17776/

потом хочу скачать страницу
http://catalog.2gis.ru/krasnodar/i17777/
но сайт делает перенаправление на http://catalog.2gis.ru

Каким образом можно быстро узнать, что сайт сделал перенаправление?

Добавлено через 4 минуты и 2 секунды
p.s. Я не спаммер smile

Просто нужно узнать, какие новые компании появились в нашем городе.

Добавлено через 6 минут и 15 секунд
Короче, мне нужно максимально быстро скачать страницы

с http://catalog.2gis.ru/krasnodar/i1/

до http://catalog.2gis.ru/krasnodar/i100000/

Как это лучше сделать?

Автор: alezzz 27.7.2012, 12:40

попробуйте так:

Код


use LWP::UserAgent;

my $ua = LWP::UserAgent->new();
$ua->requests_redirectable(undef);

my $response = $ua->get('http://catalog.2gis.ru/krasnodar/i17777/');
if ($response->code =~ /^3..$/){
    # redirect
}

Автор: arto 27.7.2012, 12:49

а чем он делает перенаправление? 3XX или другое?

Автор: Inavin 14.9.2012, 15:56

Цитата

а чем он делает перенаправление? 3XX или другое?

302 HTTP заголовок кидает