Содержание Robots.txt - находка для недоброжелателя, т.к. в нем содержится список директорий сайта, причем директорий, которые админ не хочет отдавать на всеобщее обозрение.
Хочу его спрятать от обычных юзеров, но показывать поисковым роботам..

Прячу через .htaccess, проверкой по UserAgent`у зашедшего:


Насколько это правильно? Как поисковики отреагируют на такую выборочную отдачу?

тема малость не для раздела PHP, перенес

MoLeX, в разделе PHP быстрее бы ответили  Все таки тема о защите сайта средствами самого сайта.

webevt, Оригинальный вопрос, очень бы хотел услышать на него ответ 

Это сообщение отредактировал(а) Str!pe - 31.3.2008, 22:21

webevt, думаю ничего плохого поисковики за такое не сделают, да и не должны делать, т.к. robots.txt в принципе не обязательный файл и в нем располагаются рекомендации поисковым системам как индексировать ваш сайт, которые никак не влияют на места в выдаче поисковиков.

  , всегда считал что Робот.тхт содержит 


и не о какой защите тут речи и не может идти

Добавлено через 1 минуту и 46 секунд
а на счет:

ты не прав, его быстрее снесли, или же перенесли.   

в роботсе перекрывается то что не должны индексироваьт поисковики, например каталог со скриптами и мног чего еще. Показывать такие вещи конкурентам невсегда приятно.

Идеальный вариант будет отдавать людям 1 роботс, а поисковикам другой 

Str!pe, осталось только отличить мух от котлет  Юзер, который очень хочет ваш роботс, легко представится роботом. А который не хочет - о нём можно забыть 

да, да. 

едиснтвенное это сделать чтобы он немного помучился получая данные...

Если неприятель узнает адрес к админке и начнет ее долбить(пусть даже не добьется своего), будет все равно не очень приятно.


Тот, который не хочет, и дырки в сайте искать не станет, там что, не закрывать их? 
Если подобную информацию можно спрятать, то ее нужно спрятать, имхо.

Благодарю за ответы  

поэтому в последнем проекте сделал так
1. авторизация на сайте
2. идет проверка на твою привелегию
2.1. админ - выводим ссылку внизу страницы вида - http://site/asdjofhbla/?dasj=awgo46
2.2. не админ - не чего не выводим
3. т.к. проверка идет по кукам - заново админа заставляем водить пасс (вдруг куку украли)
4. пускаем в админку

а сама админка проверяет есть ли заданные по умолчанию параметр если нету - пусть хоть заводится  - ему предоствляется обычная хтмл-страничка без последующей отправки веденных данных...

А сначала надо додуматься на РОБОТС глядеть глазами робота  Фишек то много что бы не палиться, вот только не каждый знает где искать, так что все работает.

А если у меня три рабочих лошади? Не легче ли по IP выдавать ссылку на админку или просто заворачивать гостей от страницы авторизации? Хотя для инет магазинов такая фишка не будет целесообразной.

нет не легче... нет не укого выделенного ипи, у всех динамика...

народ собственно вопрос не про целесообразность, а про то как это сделать, вернее про правильность записей.

ИМХО: так бы и сделал как у автора (или приблизительно так) других вариантов к сожелению не вижу   

Как вариант можно определять поисковых роботов по IP, этот вариант будет надежнее с точки зрения просмотра обычными пользователями нужного robots.txt. На сколько я знаю у Яндекса своя подсеть IP, если поискать IP других поисковиков тоже наверное можно найти.
Str!pe, вы ближе к этой теме. Может вы знаете где можно посмотреть IP поисковых систем и есть ли он в открытом доступе где-либо?

Без понятия, таких вещей в паблике не видел, да и у самого нет... могу только выложить рефереры ботов поисковиков. Там и IP есть, но это далеко не все, к тому же сотрудники поисковиков под ними то же ходят.

Это сообщение отредактировал(а) Str!pe - 3.4.2008, 13:40

Сомневаюсь что у сотрудников поисковиков появится желание взламывать сайты.

Выложи, я думаю он будет полезен для многих.

на самом деле это называется "клоакинг" - поисковикам одно, юзерам другое, а за такое линчуют. Потому на страх и риск, хотя за роботс может ничего и не будет.

Через апру дней буду логи разбирать, повытаскиваю информацию.

mishaSL, а если завтра они ещё пару тройку сетей зарегают? А поменяют существующие?

referers  останутся прежними, разве что в строй введут новых роботов. Но у них задачи будут отличные от тех что стоят сейчас.

Это сообщение отредактировал(а) Str!pe - 3.4.2008, 22:53

К примеру у гугла их вообще больше тысячи (серверов с роботами), постоянно появляются новые. переезжают старые... Вычисление по ip - бесполезняк. Вообще пароли - от честных людей, кому будет надо - всеравно возьмут свое (И microsoft не убежал, а вы подавно). Так что лучше ограничиться базовой защитой и не громаздить монструозную параноидальную никому не нужную защиту. Проверять по HTTP header`ам на предмет бота - отдавать роботс, иначе - фсад. 

Вот мое ИМХО

Я просто внес предложение. Если честно, то я вообще не вижу в этом смысла, обычно закрывают от индексации адреса, которые пользователь видит, но они не желательны для индексации поисковыми системами (например адреса с редиректами на другие сайты). 
И если админ сайта не хочет отдавать какие-либо директории на всеобщее обозрение (к примеру директория с шаблонами), то необходимо такие директории закрывать через htaccess, а уж никак не через robots.txt

Брал тут, кстати очень полезный ресурс именно по этому файлу.

А вот то что навылавливал в логах:
Google:

66.249.72.20 - - [03/Apr/2008:04:01:40 +0200] "GET /yslygi/ HTTP/1.1" 304 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.81 - - [04/Apr/2008:09:13:20 +0200] "GET /style12.css HTTP/1.1" 200 658 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.70.209 - - [04/Apr/2008:16:27:00 +0200] "GET /index.php?categoryID=93&offset=10 HTTP/1.1" 200 52990 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.66.114 - - [05/Apr/2008:10:03:24 +0200] "GET /index.php?productID=170&discuss=yes HTTP/1.1" 200 20994 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.70.204 - - [06/Apr/2008:12:15:37 +0200] "GET /index.php?productID=188 HTTP/1.1" 200 22946 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.66.145 - - [12/Mar/2008:09:44:09 +0100] "GET /kak-prodat-programmu/ HTTP/1.1" 200 25298 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.65.77 - - [14/Mar/2008:16:11:43 +0100] "GET /mess-388111.html HTTP/1.1" 200 4639 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.66.229 - - [03/Apr/2008:08:49:23 +0200] "GET /mess-522512.html HTTP/1.1" 200 13308 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Заметьте, что приходит только основной индексирующий робот!


Yandex:

213.180.206.189 - - [03/Apr/2008:04:39:23 +0200] "GET /robots.txt HTTP/1.1" 200 82 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.32 - - [04/Apr/2008:02:31:45 +0200] "GET /mess-292514.html HTTP/1.1" 200 13176 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.207.227 - - [04/Apr/2008:05:57:14 +0200] "GET /favicon.ico HTTP/1.1" 404 1137 "-" "Yandex/1.02.000 (compatible; Win16; F)"

213.180.206.189 - - [04/Apr/2008:13:24:54 +0200] "GET / HTTP/1.1" 200 34704 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.206.208 - - [04/Apr/2008:18:28:22 +0200] "GET /products_pictures/trevi_min.jpg HTTP/1.1" 304 - "-" "Yandex/1.01.001 (compatible; Win16; P)"

213.180.207.25 - - [25/Feb/2008:00:38:04 +0100] "GET /files/eng.asd4 HTTP/1.1" 200 6763520 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.206.208 - - [25/Mar/2008:16:18:53 +0100] "GET /images/thumb_small/1294821.jpg HTTP/1.1" 200 26385 "-" "Yandex/1.01.001 (compatible; Win16; P)" (изменилась полследняя буква!)

Rambler:

81.19.67.14 - - [23/Mar/2008:01:26:33 +0100] "GET /robots.txt HTTP/1.1" 200 739 "-" "StackRambler/2.0 (MSIE incompatible)"
81.19.66.127 - - [20/Mar/2008:06:44:25 +0100] "GET / HTTP/1.1" 200 131 "-" "StackRambler/2.0"
81.222.64.10 - - [25/Feb/2008:06:27:52 +0100] "GET /?page_id=13 HTTP/1.1" 200 131 "-" "StackRambler/2.0 (MSIE incompatible)"

Another:
67.195.37.185 - - [05/Apr/2008:23:07:16 +0200] "GET /index.php?categoryID=92 HTTP/1.0" 200 32601 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.21.103 - - [06/Apr/2008:00:56:17 +0200] "GET /index.php?productID=189&picture_id=147 HTTP/1.0" 200 22988 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

65.55.208.159 - - [27/Mar/2008:06:43:45 +0100] "GET /robots.txt HTTP/1.1" 200 739 "-" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
65.55.208.156 - - [29/Mar/2008:09:11:49 +0100] "GET /13-marta-besplatnyjj-seminar-po-analizu-prodvizheniyu-i-upravleniyu-resursom/ HTTP/1.1" 200 22715 "-" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"

Добавлено через 30 секунд
По Ip нее закроешь, остается закрывать по рефереру.