Модераторы: skyboy, MoLeX, Aliance, ksnk
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> запрос на google.ru и парсировка ответа, есть ли такая возможность? 
:(
    Опции темы
bazzjr
Дата 5.4.2009, 13:42 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 460
Регистрация: 27.12.2007
Где: Россия, Пермь

Репутация: 4
Всего: 6



Привет всем.

Вопрос в следующем:

Можно ли каким либо образом сделать запрос с моего сайта в google.ru на поиск определенных слов и получить в ответ обычную страницу с google.ru(ну незнаю в фрейм или в форму) и пропарсировать ее на содержаение определенных слов?
Может есть скрипты какие или уже кто использовал данный метод... 

Это сообщение отредактировал(а) bazzjr - 5.4.2009, 13:51
PM MAIL ICQ   Вверх
awers
Дата 5.4.2009, 16:12 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник
Сообщений: 1465
Регистрация: 22.3.2006
Где: Россия, Таганрог

Репутация: 21
Всего: 31



в code.google.com искал?
PM MAIL WWW ICQ Skype   Вверх
pizzz
Дата 6.4.2009, 05:05 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 238
Регистрация: 14.12.2008
Где: Омск

Репутация: 6
Всего: 8



Такие скрипты называються граберы. Могу написать любой сложности.
--------------------
Спасибо много, жмем кнопку репутация.  Извините меня за орфографические ошибки, я стараюсь не ошибаться, а они все равно просачиваются гады.     
PM MAIL ICQ   Вверх
bazzjr
Дата 6.4.2009, 06:42 (ссылка) |    (голосов:1) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 460
Регистрация: 27.12.2007
Где: Россия, Пермь

Репутация: 4
Всего: 6



Цитата(awers @  5.4.2009,  16:12 Найти цитируемый пост)
в code.google.com искал?


хмм... да там смотрел, но что именно мне смотреть? 


Цитата

Такие скрипты называються граберы. Могу написать любой сложности.


Это у тебя на платной основе? 
PM MAIL ICQ   Вверх
pizzz
Дата 6.4.2009, 06:46 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 238
Регистрация: 14.12.2008
Где: Омск

Репутация: 6
Всего: 8



ага. Оплата чисто символическая smile
--------------------
Спасибо много, жмем кнопку репутация.  Извините меня за орфографические ошибки, я стараюсь не ошибаться, а они все равно просачиваются гады.     
PM MAIL ICQ   Вверх
skyboy
Дата 6.4.2009, 09:22 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


неОпытный
****


Профиль
Группа: Модератор
Сообщений: 9820
Регистрация: 18.5.2006
Где: Днепропетровск

Репутация: 75
Всего: 260



Цитата(bazzjr @  6.4.2009,  05:42 Найти цитируемый пост)
но что именно мне смотреть? 

я так понимаю, смотреть API для доступа к системе поиска(например, custom search или ajax search), что может("может", потому что сам я с API не работал) позволить тебе обойтись без парсинга страницы - только разбором XML(в котором будут только результаты поиска)
PM MAIL   Вверх
bazzjr
Дата 6.4.2009, 12:50 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 460
Регистрация: 27.12.2007
Где: Россия, Пермь

Репутация: 4
Всего: 6



очень интересно посмотреть хоть один примерчик...
может кто уже сталкивался, или видел?
PM MAIL ICQ   Вверх
DeamonShan
Дата 6.4.2009, 13:11 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 503
Регистрация: 26.11.2005

Репутация: 3
Всего: 6



вот мой вариант такого же сервиса, только он на основе Яндекс.XML.

_http://www.ya.tj/server.php?page=search&selectR=1&q=%ED%EE%E2%EE%F1%F2%E8

парсер сам писатл. да и в принципе любой xml парсер подойдет для такого дела... 

Это сообщение отредактировал(а) DeamonShan - 6.4.2009, 13:34
PM MAIL   Вверх
bazzjr
Дата 6.4.2009, 13:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 460
Регистрация: 27.12.2007
Где: Россия, Пермь

Репутация: 4
Всего: 6



есть еще воприк:

Есть ли возможность использовать программульку на сервере, для удаления всякого рода тэгов и мусора?

Программа например htmllerz. Очень хорошо удаляет мусор, и оставляет чисто контент.

Или есть мощъные и быстрые парсеры, способные из html страницы удалить достаточно мусора?
PM MAIL ICQ   Вверх
DeamonShan
Дата 6.4.2009, 13:33 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 503
Регистрация: 26.11.2005

Репутация: 3
Всего: 6



А зачем тебе HTML контент? если ты легко можешь загрузить и прочитать вполне разумно отформатированный XML файл? с ним легче работать ежели с HTML.
PM MAIL   Вверх
bazzjr
Дата 6.4.2009, 13:38 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 460
Регистрация: 27.12.2007
Где: Россия, Пермь

Репутация: 4
Всего: 6



Цитата(DeamonShan @ 6.4.2009,  13:33)
А зачем тебе HTML контент? если ты легко можешь загрузить и прочитать вполне разумно отформатированный XML файл? с ним легче работать ежели с HTML.


буду благодерен есть укажите где можно почитать об ХМЛ, и как с нима работать.
а чем с хмл удобней работать, привести пару частных случаев можете?
PM MAIL ICQ   Вверх
DeamonShan
Дата 6.4.2009, 14:18 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 503
Регистрация: 26.11.2005

Репутация: 3
Всего: 6



Один из примеров как раз та задача, котрую ты пытаешься решить...

результат на ХТМЛ, как ты сам сказал содержит много мусора и не нужных тегов с атрибутами, что очень сложно парсить.

а XML будет иметь вид примерно такой:

Код

<xml>

<item>
<title>Title 1</title>
<url>http://www.url.to.source.ru</url>
<description></description>
</item>

<item>
<title>Title 2</title>
<url>http://www.url.to.source.ru</url>
<description></description>
</item>

<item>
<title>Title 3</title>
<url>http://www.url.to.source.ru</url>
<description></description>
</item>

etc.
.........................
</xml>


то что между <item> и есть твои результаты. сколько этих тегов, столько и страниц будет найдено. 

как видешь в XML результате мусора вообще нет. и парсится очень легко.

а так про хмл можно найти в самом гугле....
PM MAIL   Вверх
bazzjr
Дата 6.4.2009, 14:42 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 460
Регистрация: 27.12.2007
Где: Россия, Пермь

Репутация: 4
Всего: 6



Если я не ошибаюсь, у гугла есть возможность предоставления хмл результата, но только она платная...

вариант с хмл падает только на яндекс... :(
PM MAIL ICQ   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "PHP"
Aliance
IZ@TOP
skyboy
SamDark
MoLeX

Новичкам:

  • PHP редакторы собираются и обсуждаются здесь
  • Электронные книги по PHP, документацию можно найти здесь
  • Интерпретатор PHP, полную документацию можно скачать на PHP.NET

Важно:

  • Не брезгуйте пользоваться тегами [code=php]КОД[/code] для повышения читабельности текста/кода.
  • Перед созданием новой темы воспользуйтесь поиском и загляните в FAQ
  • Действия модераторов можно обсудить здесь

Внимание:

  • Темы "ищу скрипт", "подскажите скрипт" и т.п. будут переноситься в форум "Web-технологии"
  • Темы с именами: "Срочно", "помогите", "не знаю как делать" будут УДАЛЯТЬСЯ

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, IZ@TOP, skyboy, SamDark, MoLeX, awers.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.0521 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.