Здравствуйте. Подскажите пожалуйста как правильно написать в robots.txt. Страниц (файлов) не мало, но необходимо лишь некоторые допустить к интексации, например:



Можно конечно написать наоборот что закрыть, а остальное пусть индексируется, но при этом не хочиться "выкладывать карты" о структуре файловой системы. Хочиться только то что нужно индексировать. Сейчас попробывал добавть сайт в Яндекс, там написали что сайт полностью не может быть индексировать, так как у меня стоит Disallow: /. Есть ли другой, более правильный подход ?

походу решил проблему, дело в том что недопонимал принцип действия.
Вот в чем была заговоздка:
1. поисковый робот конечно же заходит на сайт как обычный пользователь, берет главную страницу (в основном) и анализирует ее, там видит ссылки на доп. страницы, далее конечно же переходит по ним, если они явно не указаны чтоб по ним не переходили.
2. допустим лежит у меня на сервере папка, в корне сайта, ckeditor и на нее явно открытых ссылок конечно же нет, всмысле она мне нужна только для администрирования, а чтоб войти как админ это нужно зайти в закрытые разделы, на каторые нет ссылок на сайте ни где (в моем случае), а если и есть, то там конечно же запаролено и просто так не войдешь ... так суть в том что поисковик ее не найдет ни как, поэтому такие и подобные папки/файлы не нужно указывать в robots.txt, а я думал наоборот что поисковик как-то и туда залезит и проанализирует.
3. проанализировав свой сайт, по сути понимаю что у меня явно открытые страницы (куда ведут ссылки) это страница поиска и контакты, вот к примеру мне не нужно индексировать эту страницу поиска, так и укажу я это в robots.txt путем Disallow: /search.php
4. когда проектируешь сайт изначально волей не волей делаешь ссылки на другие страницы, подразумевая что поисковику нужно по ней пройти и взять во внимание там лежащую страницу .... 
5. есть файлы у меня что на них ссылок нет, т.е. есть но эти ссылки появляются путем аякс-запроса, но поисковик ведь не будет кликать по кнопкам, значит их по сути и нет ... и думаю в этом случае нужно указать явно через Allow: /agreement.php, это касается и папок и др. файлов.

в конечном итоге получается (в моем случае) что нужно индексировать весь сайт, за исключением не нужных страниц, в моем случае Disallow: /search.php