Всем Здравствовать.
Вопрос у меня такой. Я задумал вот каую штуку. Захотел запретить к индексированию страницу по средствам файла robots.txt, казалось нет ничего проще, но я хотел это сделать так, что-бы народ заходя сюда  http://www.мойсайт.ru/robots.txt видели нормальный файл, где всё разрешено к индексации, а для поисковиков я создал другой файл, robots2.txt, в котором то и запретил некотороые разделы сайта к индексации, но идея вобщем понятна, что бы роботы попадали на один файл и выполняли команды из него, а народ шел на "чистый" robots.txt, и видел что всё нормально. Для этого собственно написал файл  .htaccess, в котором и написал:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !^yandex.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^googlebot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^.*gaisbot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^rambler.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^aport.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^metacrawler.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^msnbot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} !^.*crawler.* [NC,OR]
RewriteRule ^robots\.txt$ robots2.txt [L,R]

Ну я думаю код знающем понятен.
Потом загрузил все три файла это файлы - robots.txt, robots2.txt (для поисковиков) и естественно .htaccess в корневую директорию сайта, ну и получилось, что при обращении к файлу robots.txt выдается ошибка 404, а если обращаемся к файлу robots2.txt то видим его нормально, да если убрать файл .htaccess из корневой директории, то можно сразу зайти на файл robots.txt.

Подскажите пожалуйста что я не так делаю, может где ошибаюсь, или может надо всё по другому переделывать.
Заранее ВАМ ВСЕМ очень признателен.
Денис.

если все так плохо то я бы пошел таким путем:
RewriteEngine On
RewriteRule ^robots\.txt$ robots.php [L,R]

robots.php
//check user agent 
echo robots1 else robots2