VPF::Скачивание страницы из интернета

Suppir

Дата 27.7.2012, 12:06 (ссылка)

(голосов:1)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 588
Регистрация: 20.4.2009

Репутация: нет
Всего: нет

Добрый день!

Скачиваю с помощью Perl страницу из интернета:
http://catalog.2gis.ru/krasnodar/i17776/

потом хочу скачать страницу
http://catalog.2gis.ru/krasnodar/i17777/
но сайт делает перенаправление на http://catalog.2gis.ru

Каким образом можно быстро узнать, что сайт сделал перенаправление?

Добавлено через 4 минуты и 2 секунды
p.s. Я не спаммер smile

Просто нужно узнать, какие новые компании появились в нашем городе.

Добавлено через 6 минут и 15 секунд
Короче, мне нужно максимально быстро скачать страницы

с http://catalog.2gis.ru/krasnodar/i1/

до http://catalog.2gis.ru/krasnodar/i100000/

Как это лучше сделать?

alezzz

Дата 27.7.2012, 12:40 (ссылка)

(нет голосов)

Загрузка ...

сплю...

Профиль
Группа: Участник
Сообщений: 499
Регистрация: 17.8.2009

Репутация: 1
Всего: 14

попробуйте так:

Код


use LWP::UserAgent;

my $ua = LWP::UserAgent->new();
$ua->requests_redirectable(undef);

my $response = $ua->get('http://catalog.2gis.ru/krasnodar/i17777/');
if ($response->code =~ /^3..$/){
    # redirect
}

arto

Дата 27.7.2012, 12:49 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1495
Регистрация: 31.10.2004

Репутация: 38
Всего: 40

а чем он делает перенаправление? 3XX или другое?

Inavin

Дата 14.9.2012, 15:56 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 2
Регистрация: 14.9.2012
Где: Москва

Репутация: нет
Всего: нет

Цитата

а чем он делает перенаправление? 3XX или другое?

302 HTTP заголовок кидает

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Perl: Общие вопросы \| Следующая тема »