Добрый день.

поставили задачу написать парсер поисковой выдачи google.ru 
пытаюсь сделать это при помощи lwp
но вместо желаемого гугл отдает кучу jscript кода.

подскажите на перл возможно написать такой парсер?
и в какую сторону смотреть?

спасибо.

p.s.
может можно какому то модулю на вход подать эти скрипты, 
а на выходе получить результат выполнения этих скриптов?

или может быть как то можно LWP с поддержкой jscript собрать?
или какая то консольная утилита-броузер есть, которая бы на выходе отдавала отработку js скриптов?

технология firefox+mozrepl не подходит (все дожно работать в консоли).

Это сообщение отредактировал(а) burakov - 7.6.2012, 09:17

Гугл прекрасно парсится.
Не знаю зачем там JS, но если посмотрите ниже - найдёте собственно все результаты в html виде, который очень просто разобрать через dom-парсер.

ничего не понимаю

вот урл
http://www.google.ru/#hl=ru&newwindow=...%D0%BE&fp=1

файл который получился после отработки lwp
прилагаю


ничего похожего того, что есть на экране -- 
в файле найти не могу.


может как то не так ссылку в LWP подставляю (но если вставить ее в адресную строку броузера -- все нормально)


Присоединённый файл ( Кол-во скачиваний: 6 )
 229f8a4a84b4ebf4385b7aa556f94ee2 96,78 Kb

По запросу "http://www.google.com/search?q=euro+exchange+rate" получил вполне приличный результат.

Присоединённый файл ( Кол-во скачиваний: 8 )
 search.txt 160,81 Kb

Кривой запрос и как следствие кривой результат - страница с одним полем для ввода запроса.
Конечно же там нету никаких результатов.
Кстати сразу предупрежу - гугл любит частенько предлагать ввести капчу, так что не стоит пытатся его парсить без привязки к сервису по разбору капчей.

https://github.com/ecsyz/WVS/blob/master/lib/WVS/SEP.pm - сусть думаю оттуда можно будет понять.

Это сообщение отредактировал(а) EcSYZ - 7.6.2012, 15:05

большое спасибо.

вот этот запрос
http://www.google.com/search?q=euro+exchange+rate
у меня нормально отработал (хоть увидел, что реально все в файле есть).
значит дело в запросе.
антикапчу подключу, спасибо за предупреждение.

хм. у пеня на перле парсер хорошо работает. разве чтокапчу жрет и парсит только 100 страниц гугл больше не выдает нужно запрос менять