Я хочу написать что то типа небольшой поисковой системы (в образовательных целях). Для этого мне нада сканировать страницу и вынимать из нее все ссылки, в том числе и на картинки. Я знаю что для получения кода можно использовать LWP::Simple, но не знаю как и не знаю как потом выделить из него ссылки.

Заранее спасибо.

Код

#!/usr/bin/perl -w use strict; use LWP::Simple; my $url = "http://yandex.ru"; my $p = get( $url ); my @links; $p =~ s/href\=\"(http:\/\/.*?)\"/push( @links, $1 )/eg; print join("\n", @links);

Что-то типа этого. Извини, времени в обрез. Если что-то не понятно дай знать. Этот шаблон быдёргивает только ссылки начинающиеся с http, потому как от таких ссылок ../../guest/book.cgi, толку мало.

Возможно нужно будет доработать шаблон, потому как я его толком не тестировал.

Это сообщение отредактировал(а) korob2001 - 26.2.2005, 23:02

А модуль LWP::Simple - стандартный или его нет в обычном дистрибутиве?

Стандартный.

Это очень хорошо. И еще, спасиба, тебе. Все работает. Но хотелось бы все ссылки, в том числе и на картинки так как поисковик все же должен сканировать весь сайт. А основная цель моего поисковика- картинки.

Цитата

Это очень хорошо. И еще, спасиба, тебе. Все работает. Но хотелось бы все ссылки, в том числе и на картинки так как поисковик все же должен сканировать весь сайт. А основная цель моего поисковика- картинки.

С каким расширением картинки нужны? .jpg .gif .bmp????

Все. Включая png и т.д. И попутно нада бы еще собирать инфу о их размере и разрешении. А вообще идеально- скачивать, перекодировать в jpg с качеством 60 и уменьшать до 100 пикселов примерно.

Код

use strict; use LWP::UserAgent; use HTML::LinkExtor; use URI::URL; my ($url, $ua, $res, $base, $p, %links); $url = "http://gol.mkafisha.ru/"; $ua = LWP::UserAgent -> new; $ua -> proxy(http => 'http://vali:2128'); $p = HTML::LinkExtor -> new(\&callback); $res = $ua -> request(HTTP::Request -> new(GET => $url)); $res -> is_success() ? {$p -> parse($res -> content), print $res -> status_line ."\n"} : print "Error: " . $res -> status_line ."\n"; $base = $res -> base; defined %links ? map {print url($_, $base) -> abs,"\n"} sort (keys %links) : print "No items, sorry..."; sub callback { my ($tag, %attr) = @_; map {$links{$_}++} values %attr; }

Я вот так ссылки вырезаю.

Спасибо, вечером проверю как будет работать у меня. Код правда мне не ясен, но пару знакомых букв я все же нашел

Код работает хорошо, спасибо.

Мне предложили 2 способа. Какой лучше? Какой работает быстрее и выбирает большее колличество ссылок? А то первый вариант собирает точно не все

<a href="asdasd.werwer.ru">

Он найдет, но если будут пробелы между = или он будет без ковычек, то все...

Второй способ как я понял работает напрямую с сервером и вынимает ссылки по средсьвом специального модуля. Насколько это удобно? Он все пихает в один массив, а мне мылы надо в один, локальные ссылки в другой, а глобальные в третий.

А как перерабатывать картинки никто не знает? Или хотя бы как получить сведения о их размере и разрешении и при желании скачать.

Цитата

Мне предложили 2 способа. Какой лучше? Какой работает быстрее и выбирает большее колличество ссылок? А то первый вариант собирает точно не все <a href="asdasd.werwer.ru"> Он найдет, но если будут пробелы между = или он будет без ковычек, то все...

С каждым из них нужно работать, потому как это только заготовки. Есть конечно же ещё и другие пути, например: стандартный модуль HTML::Parser.

Цитата

Второй способ как я понял работает напрямую с сервером и вынимает ссылки по средсьвом специального модуля. Насколько это удобно? Он все пихает в один массив, а мне мылы надо в один, локальные ссылки в другой, а глобальные в третий.

Если у тебя есть один массив со всеми ссылками, то что стоит его разбросать по группам? Это гараздо проще, чем парсить HTML страничку.

Цитата

А как перерабатывать картинки никто не знает? Или хотя бы как получить сведения о их размере и разрешении и при желании скачать.

Здесь тебе помугут модули GD, Image::Magick, Image::Size. Почитай документацию по этим модулям.

Будут конкретные вопросы, пиши.

Удачи.

Шпасиба

Здравствуйте, я не стал создавать новой темы, так как задача похожая, но немножко потруднее...

Как выкачать все ссылки с сайта?
Вернее необходимо проверить все линки (локальные, глобальные) на наличии ключевой комбинации символов, но для этого их надо сначала выкачать...

Может кто-нибудь сталкивался с этим?
Думал сделать это через wget - он то позволяет выкачивать сайты целиком, но не смог найти, как выкачать только линки.
Должен же быть какой-нибудь простой способ.

Заранее благодарен.

Usya, наверное, надо просто собирать линки и анализировать их (если внутренние, дальше топаем).
я вот этим модулем пользуюсь для сбора ссылок: HTML::LinkExtor

Спасибо за совет

На счет модуля HTML::LinkExtor здесь уже немного упоминалось

Единственное два но:
1) Мне придется делать запрос, чтоб на серваке установили этот модуль...(хотя это решаемо)...
2) Придется лазить по каждой странице... Почему то кажется, что должен быть более простой способ. В т.ч., например, с wget. Ведь с помощью wget можно выкачивать сайты целиком. Скорее всего должна быть возможность выкачивания только линков, но я не нашел как...