Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > PHP: Общие вопросы > Распознавание поисковых роботов

Автор: R.M. 15.1.2006, 02:52

Вот форум IPB может распознавать поисковых роботов, например GoogleBot, Yandex и т.п., а как отследить самому? Сравнение по IP-адресам? или какойто функцией? или как?

Автор: Cheba 15.1.2006, 04:49

Практически все поисковики в UserAgent правильно себя идентифицируют. У Гугля - GoogleBot, например.

Автор: lovermann 15.1.2006, 14:06

Список поисковых ботов с описанием можно взять http://www.robotstxt.org/wc/active/html/index.html

Автор: R.M. 15.1.2006, 21:00

Cheba

Цитата(Cheba @ 15.1.2006, 05:49

)

Практически все поисковики в UserAgent правильно себя идентифицируют. У Гугля - GoogleBot, например.

А как UserAgent юзать?

Цитата(lovermann @ 15.1.2006, 15:06

)

Список поисковых ботов с описанием можно взять здесь

Спасибо, только жалко там их IP нету smile

Автор: Fin 15.1.2006, 21:17

Цитата(Куксикус @ 15.1.2006, 20:00)

Спасибо, только жалко там их IP нету smile

Там написаны URL роботов. На службе whois ты можеш узнать IP интересуеших тебя роботов.
Или со своей машины пропингуй URL, пинг выдает IP.

Автор: Mal Hack 15.1.2006, 21:37

Куксикус как ты браузер определяешь?
Через $_SERVER['HTTP_USER_AGENT'], так же ботов.

Статических IP у ботов нет.

Автор: R.M. 16.1.2006, 01:20

Fin

Угу, спасибо

Mal Hack

Цитата(Mal Hack @ 15.1.2006, 22:37

)

Через $_SERVER['HTTP_USER_AGENT'], так же ботов.

Т.е. вместо браузера там будет имя робота?

Цитата(Mal Hack @ 15.1.2006, 22:37

)

Статических IP у ботов нет.

Насколько я понял у них диапазон IP который написан в whois

Автор: IZ@TOP 16.1.2006, 02:19

Куксикус, например яндекс не раскрывает IP своих ботов, они могут варьироваться в разных диапазонах. Разумеется их можно вычислить опытным путем собирая информацию при посещении онным твоей страницы.

Автор: R.M. 16.1.2006, 02:24

IZ@TOP

Цитата(IZ@TOP @ 16.1.2006, 03:19

)

можно вычислить опытным путем собирая информацию при посещении онным твоей страницы.

Например?

Автор: IZ@TOP 16.1.2006, 02:28

Ну например ты определяешь пользователя, проверяешь не робот ли это яндекса

Код


if(false !== strpos('yandex', strtolower($_SERVER['HTTP_USER_AGENT']))) {
    //...
}

Далее определяешь его IP:

Код


$YandexIP    = $_SERVER['REMOTE_ADDR'];

И записываешь его куда-то. Но разумеется это прокатит если твой сайт не в "бане" у яндекса smile

Автор: R.M. 16.1.2006, 03:47

IZ@TOP

Примерно понятно, т.е. это проверка есть ли слово Yandex в USER_AGENT посетителя?

Цитата(IZ@TOP @ 16.1.2006, 03:28

)

Но разумеется это прокатит если твой сайт не в "бане" у яндекса smile

Нет не в бане smile

Добавлено @ 03:48
Впринципе я как бы это делаю чисто для себя чтобы знать какие роботы ходят. Наверно будет достаточно и простоо USER_AGENT записывать каждого пришедшего заодно и браузеры узнаю smile

Автор: R.M. 16.1.2006, 04:52

Вот и яндекс пришел
Yandex/1.03.003 (compatible; Win16; D)
Всем спасибо, вопрос решён

Автор: Fin 16.1.2006, 17:42

Я где то читал статейку. Все уважаюшие себя поисковики имеют скрытые боты. Которые инденцифицируют себя, как обычный пользователь. Этот бот собирает информацию о сайте, затем инфа сверяется с инфой открытого бота. Если есть сушественные расхождения, то сайт банится. Это зашита от поисковых спамеров.

Автор: IZ@TOP 16.1.2006, 22:24

Цитата(Fin @ 16.1.2006, 18:42

)

Интересно, а что если ты выдаешь для бота "облегченную" версию, но с теми же данными и небольшой оптимизацией размещения текстов и меню, это тоже посчитается поисковым спамом?

Автор: Fin 16.1.2006, 22:47

Это вопрос не ко мне smile

. Ты лучше у Сергея Брин спроси http://people.rambler.ru/face.html?s=17&year=2005 . Он лучше знает, как устроены поисковые боты.
Идея статьи была в том, чтобы люди не поднимали рейтинг за счет наполнения страници откровенным бредом, простым набором всевозможных слов которые они подсовывают боту на индексацию.

Автор: R.M. 17.1.2006, 01:50

Цитата(Fin @ 16.1.2006, 18:42

)

Мне кажется что это бред

Автор: IZ@TOP 17.1.2006, 11:52

Куксикус, почему же? По моему все так и есть. Во всяком случае отключается сайт не автоматом а после проверки можератором.