VPF::Качалка файлов - Форум программистов

Sadok

Дата 17.6.2005, 12:29 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 74
Регистрация: 2.11.2004

Репутация: 1
Всего: 2

korob2001

Цитата

правда нужно было сначала пропарсить страницу, для того что бы выдернуть оттуда все файлы с разширением .zip. Но сейчас вопрос не в этом.

Накропал как-то парсер, который выдергвает все ссылки со страницы. Прикрутить кнему "гляделку" к .zip - пара пустых smile

Код


use strict;
use LWP::UserAgent;
use HTML::LinkExtor;
use URI::URL;
my ($url, $ua, $res, $base, $p, %links);
$url = "http://gol.mkafisha.ru/"; # Это пример
$ua = LWP::UserAgent -> new;
#$ua -> proxy(http => 'http://vali:2128'); # Это если прокси есть
$p = HTML::LinkExtor -> new(\&callback);
$res = $ua -> request(HTTP::Request -> new(GET => $url));
$res -> is_success() ? {$p -> parse($res -> content), print $res -> status_line ."\n"} : print "Error: " . $res -> status_line ."\n";
$base = $res -> base;
# Далее при печати сортирует ссылки по алфавиту (мне так надо было)
defined %links ? map {print url($_, $base) -> abs,"\n"} sort (keys %links) : print "No items, sorry...";
sub callback {
    my ($tag, %attr) = @_;
    map {$links{$_}++} values %attr;
}

korob2001

Дата 18.6.2005, 00:01 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Комодератор
Сообщений: 2871
Регистрация: 29.12.2002

Репутация: 13
Всего: 61

Sadok
Я уже давно закончил эту программу и без участия сторонних модулей.
Но всёравно, спасибо.

--------------------

"Время проходит", - привыкли говорить вы по неверному пониманию.
"Время стоит - проходите вы".

anest

Дата 18.6.2005, 06:01 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 2
Регистрация: 18.6.2005

Репутация: нет
Всего: нет

Цитата(Sadok @ 17.6.2005, 12:29)

Накропал как-то парсер, который выдергвает все ссылки со страницы.

а как сделать чтобы парсер выдергивал ссылки со всех страниц на сайте?
smile

Это сообщение отредактировал(а) anest - 18.6.2005, 06:02

Sadok

Дата 18.6.2005, 10:17 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 74
Регистрация: 2.11.2004

Репутация: 1
Всего: 2

anest
Э... м-да. Очень муторно на мой поверхостный взгляд. Может и есть какой модуль на cpan, но я даже не знаю, в какую сторону копать.

Есть скрипт поисковый RiSearch (http://risearch.org/rus/index.html), внутри него есть модуль spider.pl. Можно в нем покопатся, он небольшой.

korob2001

Дата 18.6.2005, 11:38 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Комодератор
Сообщений: 2871
Регистрация: 29.12.2002

Репутация: 13
Всего: 61

anest - я же тебе уже написал:

М	Один топик - один вопрос и всё, что его касается. Твой вопрос никак не касается темы данного топика. Не поленись создать новый топик и задать там свой вопрос. Тема закрыта.

--------------------

"Время проходит", - привыкли говорить вы по неверному пониманию.
"Время стоит - проходите вы".

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Perl: разработка для Web \| Следующая тема »