VPF::Парсер - Форум программистов

DeltaSoft

Дата 7.9.2006, 12:23 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 31
Регистрация: 28.8.2006

Репутация: нет
Всего: нет

Задачка такая:
Есть 10000 запросов нужно собрирать каждый день по каждому запросу первые 20 адресов сайтов, которые выдает поисковик (Google, Yandex ...).

Закидывать всю инфу в БД, так чтобы потом к ней можно было пределать хороший интерфейс.

Кто с подобными вещами сталкивался, можете что-то посоветовать. Или может кто помочь может...

DiverD

Дата 7.9.2006, 14:54 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 225
Регистрация: 14.9.2005
Где: Белорусь

Репутация: 1
Всего: 2

Код


#!/usr/bin/perl
our $h0p = 100; # число скачков
our $name = "porno"; # что искать
   
    for(my $i = 1; $i <= $h0p; $i += 10) # скачим по страницам результатов
       {
           my $ua = LWP::UserAgent->new;
           $ua->agent("Googlebot/2.1 (+http://www.google.com/bot.html)" . $ua->agent);
           my $req = HTTP::Request->new(GET => "http://google.com/search?q=$name&hl=en&lr=&start=$i&sa=N");
           $req->header('Accept' => 'text/html');
           my $res = $ua->request($req);
           push @c0ntent, $res->content;
       }
       foreach(@c0ntent){push @uRLS, $_ =~ /<a.\w+\W{2}.\W.\w+\W{2}(.+?)\W>/g;} 
   }

В переменной @URLs содержаться результаты поиска, это пример парсинга гугла.

Добавлено @ 14:56
вообще можно почитать по парсингу вот эту статью http://n4n0bit.nm.ru/73x7/b07n37_2.txt а также поищи мои посты по форуму, там найдешь многа советов какие модули можно использовать, а с БД я хз.

--------------------

[ FreeBSD & pERL p0WER eVERY dAY ]

Cook

Дата 11.9.2006, 15:09 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 17
Регистрация: 1.12.2003

Репутация: нет
Всего: нет

интересно через сколько дней будет забанен айпи с которого запросы такие пойдут )

nerezus

Дата 11.9.2006, 20:22 (ссылка)

(нет голосов)

Загрузка ...

Вселенский отказник

Профиль
Группа: Участник
Сообщений: 3330
Регистрация: 15.6.2005

Репутация: нет
Всего: 43

http://xml.yandex.ru/
http://www.google.com/apis/

--------------------

Сообщество художников Artsociety.ru

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Perl: Общие вопросы \| Следующая тема »