Модераторы: skyboy, MoLeX, Aliance, ksnk

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Распознавание поисковых роботов 
V
    Опции темы
R.M.
Дата 15.1.2006, 02:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Анархист
****


Профиль
Группа: Участник
Сообщений: 2164
Регистрация: 8.6.2005
Где: Питер

Репутация: -2
Всего: 30
Вот форум IPB может распознавать поисковых роботов, например GoogleBot, Yandex и т.п., а как отследить самому? Сравнение по IP-адресам? или какойто функцией? или как?


--------------------
Помнишь как бодрили дискотеки прошлого века? Теперь стул, компьютер и нету человека.

Nokia LifeStyle - Всё для смартфонов Nokia 
PM MAIL WWW ICQ   Вверх
Cheba
Дата 15.1.2006, 04:49 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


pointless one
***


Профиль
Группа: Vingrad developer
Сообщений: 1777
Регистрация: 27.11.2003
Где: /dev/null

Репутация: 1
Всего: 62
Практически все поисковики в UserAgent правильно себя идентифицируют. У Гугля - GoogleBot, например.


--------------------
Как правильно задавать вопросы  
PM MAIL ICQ   Вверх
lovermann
Дата 15.1.2006, 14:06 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 285
Регистрация: 28.12.2004
Где: Прага

Репутация: 1
Всего: 8
Список поисковых ботов с описанием можно взять здесь
PM WWW ICQ   Вверх
R.M.
Дата 15.1.2006, 21:00 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Анархист
****


Профиль
Группа: Участник
Сообщений: 2164
Регистрация: 8.6.2005
Где: Питер

Репутация: -2
Всего: 30
Cheba
Цитата(Cheba @ 15.1.2006, 05:49 Найти цитируемый пост)

Практически все поисковики в UserAgent правильно себя идентифицируют. У Гугля - GoogleBot, например.

А как UserAgent юзать?

Цитата(lovermann @ 15.1.2006, 15:06 Найти цитируемый пост)

Список поисковых ботов с описанием можно взять здесь

Спасибо, только жалко там их IP нету smile


--------------------
Помнишь как бодрили дискотеки прошлого века? Теперь стул, компьютер и нету человека.

Nokia LifeStyle - Всё для смартфонов Nokia 
PM MAIL WWW ICQ   Вверх
Fin
Дата 15.1.2006, 21:17 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Дракон->Спать();
**


Профиль
Группа: Участник
Сообщений: 687
Регистрация: 4.1.2006

Репутация: нет
Всего: 10
Цитата(Куксикус @ 15.1.2006, 20:00)
Спасибо, только жалко там их IP нету smile

Там написаны URL роботов. На службе whois ты можеш узнать IP интересуеших тебя роботов.
Или со своей машины пропингуй URL, пинг выдает IP.

Это сообщение отредактировал(а) Fin - 15.1.2006, 21:19


--------------------
Пролетал мимо.
PM MAIL   Вверх
Mal Hack
Дата 15.1.2006, 21:37 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Мудрый...
****


Профиль
Группа: Участник Клуба
Сообщений: 9926
Регистрация: 15.2.2004

Репутация: 122
Всего: 261
Куксикус как ты браузер определяешь?
Через $_SERVER['HTTP_USER_AGENT'], так же ботов.

Статических IP у ботов нет.
PM ICQ   Вверх
R.M.
Дата 16.1.2006, 01:20 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Анархист
****


Профиль
Группа: Участник
Сообщений: 2164
Регистрация: 8.6.2005
Где: Питер

Репутация: -2
Всего: 30
Fin

Угу, спасибо

Mal Hack
Цитата(Mal Hack @ 15.1.2006, 22:37 Найти цитируемый пост)

Через $_SERVER['HTTP_USER_AGENT'], так же ботов.

Т.е. вместо браузера там будет имя робота?
Цитата(Mal Hack @ 15.1.2006, 22:37 Найти цитируемый пост)

Статических IP у ботов нет.

Насколько я понял у них диапазон IP который написан в whois


--------------------
Помнишь как бодрили дискотеки прошлого века? Теперь стул, компьютер и нету человека.

Nokia LifeStyle - Всё для смартфонов Nokia 
PM MAIL WWW ICQ   Вверх
IZ@TOP
Дата 16.1.2006, 02:19 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Панда-бир!
****


Профиль
Группа: Участник
Сообщений: 4795
Регистрация: 3.2.2003
Где: Бамбуковый лес

Репутация: 44
Всего: 73
Куксикус, например яндекс не раскрывает IP своих ботов, они могут варьироваться в разных диапазонах. Разумеется их можно вычислить опытным путем собирая информацию при посещении онным твоей страницы.


--------------------
Один из розовых плюшевых-всадников апокалипсиса... очень злой...

Семь кругов ада для новых элементов языка
Мои разрозненные мысли
PM MAIL WWW ICQ Skype GTalk   Вверх
R.M.
Дата 16.1.2006, 02:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Анархист
****


Профиль
Группа: Участник
Сообщений: 2164
Регистрация: 8.6.2005
Где: Питер

Репутация: -2
Всего: 30
IZ@TOP
Цитата(IZ@TOP @ 16.1.2006, 03:19 Найти цитируемый пост)

можно вычислить опытным путем собирая информацию при посещении онным твоей страницы.

Например?


--------------------
Помнишь как бодрили дискотеки прошлого века? Теперь стул, компьютер и нету человека.

Nokia LifeStyle - Всё для смартфонов Nokia 
PM MAIL WWW ICQ   Вверх
IZ@TOP
Дата 16.1.2006, 02:28 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Панда-бир!
****


Профиль
Группа: Участник
Сообщений: 4795
Регистрация: 3.2.2003
Где: Бамбуковый лес

Репутация: 44
Всего: 73
Ну например ты определяешь пользователя, проверяешь не робот ли это яндекса

Код

if(false !== strpos('yandex', strtolower($_SERVER['HTTP_USER_AGENT']))) {
    //...
}


Далее определяешь его IP:

Код

$YandexIP    = $_SERVER['REMOTE_ADDR'];


И записываешь его куда-то. Но разумеется это прокатит если твой сайт не в "бане" у яндекса smile


--------------------
Один из розовых плюшевых-всадников апокалипсиса... очень злой...

Семь кругов ада для новых элементов языка
Мои разрозненные мысли
PM MAIL WWW ICQ Skype GTalk   Вверх
R.M.
Дата 16.1.2006, 03:47 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Анархист
****


Профиль
Группа: Участник
Сообщений: 2164
Регистрация: 8.6.2005
Где: Питер

Репутация: -2
Всего: 30
IZ@TOP

Примерно понятно, т.е. это проверка есть ли слово Yandex в USER_AGENT посетителя?
Цитата(IZ@TOP @ 16.1.2006, 03:28 Найти цитируемый пост)

Но разумеется это прокатит если твой сайт не в "бане" у яндекса smile

Нет не в бане smile
Добавлено @ 03:48
Впринципе я как бы это делаю чисто для себя чтобы знать какие роботы ходят. Наверно будет достаточно и простоо USER_AGENT записывать каждого пришедшего заодно и браузеры узнаю smile


--------------------
Помнишь как бодрили дискотеки прошлого века? Теперь стул, компьютер и нету человека.

Nokia LifeStyle - Всё для смартфонов Nokia 
PM MAIL WWW ICQ   Вверх
R.M.
Дата 16.1.2006, 04:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Анархист
****


Профиль
Группа: Участник
Сообщений: 2164
Регистрация: 8.6.2005
Где: Питер

Репутация: -2
Всего: 30
Вот и яндекс пришел
Yandex/1.03.003 (compatible; Win16; D)
Всем спасибо, вопрос решён


--------------------
Помнишь как бодрили дискотеки прошлого века? Теперь стул, компьютер и нету человека.

Nokia LifeStyle - Всё для смартфонов Nokia 
PM MAIL WWW ICQ   Вверх
Fin
Дата 16.1.2006, 17:42 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Дракон->Спать();
**


Профиль
Группа: Участник
Сообщений: 687
Регистрация: 4.1.2006

Репутация: нет
Всего: 10
Я где то читал статейку. Все уважаюшие себя поисковики имеют скрытые боты. Которые инденцифицируют себя, как обычный пользователь. Этот бот собирает информацию о сайте, затем инфа сверяется с инфой открытого бота. Если есть сушественные расхождения, то сайт банится. Это зашита от поисковых спамеров.


--------------------
Пролетал мимо.
PM MAIL   Вверх
IZ@TOP
Дата 16.1.2006, 22:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Панда-бир!
****


Профиль
Группа: Участник
Сообщений: 4795
Регистрация: 3.2.2003
Где: Бамбуковый лес

Репутация: 44
Всего: 73
Цитата(Fin @ 16.1.2006, 18:42 Найти цитируемый пост)

Я где то читал статейку. Все уважаюшие себя поисковики имеют скрытые боты. Которые инденцифицируют себя, как обычный пользователь. Этот бот собирает информацию о сайте, затем инфа сверяется с инфой открытого бота. Если есть сушественные расхождения, то сайт банится. Это зашита от поисковых спамеров.


Интересно, а что если ты выдаешь для бота "облегченную" версию, но с теми же данными и небольшой оптимизацией размещения текстов и меню, это тоже посчитается поисковым спамом?


--------------------
Один из розовых плюшевых-всадников апокалипсиса... очень злой...

Семь кругов ада для новых элементов языка
Мои разрозненные мысли
PM MAIL WWW ICQ Skype GTalk   Вверх
Fin
Дата 16.1.2006, 22:47 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Дракон->Спать();
**


Профиль
Группа: Участник
Сообщений: 687
Регистрация: 4.1.2006

Репутация: нет
Всего: 10
Это вопрос не ко мне smile . Ты лучше у Сергея Брин спроси http://people.rambler.ru/face.html?s=17&year=2005 . Он лучше знает, как устроены поисковые боты.
Идея статьи была в том, чтобы люди не поднимали рейтинг за счет наполнения страници откровенным бредом, простым набором всевозможных слов которые они подсовывают боту на индексацию.


--------------------
Пролетал мимо.
PM MAIL   Вверх
Ответ в темуСоздание новой темы Создание опроса
Правила форума "PHP"
Aliance
IZ@TOP
skyboy
SamDark
MoLeX

Новичкам:

  • PHP редакторы собираются и обсуждаются здесь
  • Электронные книги по PHP, документацию можно найти здесь
  • Интерпретатор PHP, полную документацию можно скачать на PHP.NET

Важно:

  • Не брезгуйте пользоваться тегами [code=php]КОД[/code] для повышения читабельности текста/кода.
  • Перед созданием новой темы воспользуйтесь поиском и загляните в FAQ
  • Действия модераторов можно обсудить здесь

Внимание:

  • Темы "ищу скрипт", "подскажите скрипт" и т.п. будут переноситься в форум "Web-технологии"
  • Темы с именами: "Срочно", "помогите", "не знаю как делать" будут УДАЛЯТЬСЯ

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, IZ@TOP, skyboy, SamDark, MoLeX, awers.
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Общие вопросы | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.0672 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.