Как вариант можно определять поисковых роботов по IP, этот вариант будет надежнее с точки зрения просмотра обычными пользователями нужного robots.txt. На сколько я знаю у Яндекса своя подсеть IP, если поискать IP других поисковиков тоже наверное можно найти.
Str!pe, вы ближе к этой теме. Может вы знаете где можно посмотреть IP поисковых систем и есть ли он в открытом доступе где-либо?

Без понятия, таких вещей в паблике не видел, да и у самого нет... могу только выложить рефереры ботов поисковиков. Там и IP есть, но это далеко не все, к тому же сотрудники поисковиков под ними то же ходят.

Это сообщение отредактировал(а) Str!pe - 3.4.2008, 13:40

Сомневаюсь что у сотрудников поисковиков появится желание взламывать сайты.

Выложи, я думаю он будет полезен для многих.

на самом деле это называется "клоакинг" - поисковикам одно, юзерам другое, а за такое линчуют. Потому на страх и риск, хотя за роботс может ничего и не будет.

Через апру дней буду логи разбирать, повытаскиваю информацию.

mishaSL, а если завтра они ещё пару тройку сетей зарегают? А поменяют существующие?

referers  останутся прежними, разве что в строй введут новых роботов. Но у них задачи будут отличные от тех что стоят сейчас.

Это сообщение отредактировал(а) Str!pe - 3.4.2008, 22:53

К примеру у гугла их вообще больше тысячи (серверов с роботами), постоянно появляются новые. переезжают старые... Вычисление по ip - бесполезняк. Вообще пароли - от честных людей, кому будет надо - всеравно возьмут свое (И microsoft не убежал, а вы подавно). Так что лучше ограничиться базовой защитой и не громаздить монструозную параноидальную никому не нужную защиту. Проверять по HTTP header`ам на предмет бота - отдавать роботс, иначе - фсад. 

Вот мое ИМХО

Я просто внес предложение. Если честно, то я вообще не вижу в этом смысла, обычно закрывают от индексации адреса, которые пользователь видит, но они не желательны для индексации поисковыми системами (например адреса с редиректами на другие сайты). 
И если админ сайта не хочет отдавать какие-либо директории на всеобщее обозрение (к примеру директория с шаблонами), то необходимо такие директории закрывать через htaccess, а уж никак не через robots.txt

Брал тут, кстати очень полезный ресурс именно по этому файлу.

А вот то что навылавливал в логах:
Google:

66.249.72.20 - - [03/Apr/2008:04:01:40 +0200] "GET /yslygi/ HTTP/1.1" 304 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.81 - - [04/Apr/2008:09:13:20 +0200] "GET /style12.css HTTP/1.1" 200 658 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.70.209 - - [04/Apr/2008:16:27:00 +0200] "GET /index.php?categoryID=93&offset=10 HTTP/1.1" 200 52990 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.66.114 - - [05/Apr/2008:10:03:24 +0200] "GET /index.php?productID=170&discuss=yes HTTP/1.1" 200 20994 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.70.204 - - [06/Apr/2008:12:15:37 +0200] "GET /index.php?productID=188 HTTP/1.1" 200 22946 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.66.145 - - [12/Mar/2008:09:44:09 +0100] "GET /kak-prodat-programmu/ HTTP/1.1" 200 25298 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.77 - - [14/Mar/2008:16:11:43 +0100] "GET /mess-388111.html HTTP/1.1" 200 4639 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.66.229 - - [03/Apr/2008:08:49:23 +0200] "GET /mess-522512.html HTTP/1.1" 200 13308 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Заметьте, что приходит только основной индексирующий робот!


Yandex:

213.180.206.189 - - [03/Apr/2008:04:39:23 +0200] "GET /robots.txt HTTP/1.1" 200 82 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.32 - - [04/Apr/2008:02:31:45 +0200] "GET /mess-292514.html HTTP/1.1" 200 13176 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.207.227 - - [04/Apr/2008:05:57:14 +0200] "GET /favicon.ico HTTP/1.1" 404 1137 "-" "Yandex/1.02.000 (compatible; Win16; F)"

213.180.206.189 - - [04/Apr/2008:13:24:54 +0200] "GET / HTTP/1.1" 200 34704 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.206.208 - - [04/Apr/2008:18:28:22 +0200] "GET /products_pictures/trevi_min.jpg HTTP/1.1" 304 - "-" "Yandex/1.01.001 (compatible; Win16; P)"

213.180.207.25 - - [25/Feb/2008:00:38:04 +0100] "GET /files/eng.asd4 HTTP/1.1" 200 6763520 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.206.208 - - [25/Mar/2008:16:18:53 +0100] "GET /images/thumb_small/1294821.jpg HTTP/1.1" 200 26385 "-" "Yandex/1.01.001 (compatible; Win16; P)" (изменилась полследняя буква!)

Rambler:

81.19.67.14 - - [23/Mar/2008:01:26:33 +0100] "GET /robots.txt HTTP/1.1" 200 739 "-" "StackRambler/2.0 (MSIE incompatible)"
81.19.66.127 - - [20/Mar/2008:06:44:25 +0100] "GET / HTTP/1.1" 200 131 "-" "StackRambler/2.0"
81.222.64.10 - - [25/Feb/2008:06:27:52 +0100] "GET /?page_id=13 HTTP/1.1" 200 131 "-" "StackRambler/2.0 (MSIE incompatible)"

Another:
67.195.37.185 - - [05/Apr/2008:23:07:16 +0200] "GET /index.php?categoryID=92 HTTP/1.0" 200 32601 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.21.103 - - [06/Apr/2008:00:56:17 +0200] "GET /index.php?productID=189&picture_id=147 HTTP/1.0" 200 22988 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

65.55.208.159 - - [27/Mar/2008:06:43:45 +0100] "GET /robots.txt HTTP/1.1" 200 739 "-" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
65.55.208.156 - - [29/Mar/2008:09:11:49 +0100] "GET /13-marta-besplatnyjj-seminar-po-analizu-prodvizheniyu-i-upravleniyu-resursom/ HTTP/1.1" 200 22715 "-" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"

Добавлено через 30 секунд
По Ip нее закроешь, остается закрывать по рефереру.