VPF::robot.txt - несмотря на запрет Гугл индексирует

Frozen_Coyote

Дата 28.4.2010, 07:17 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 230
Регистрация: 20.9.2007

Репутация: нет
Всего: нет

Приветствую,

господа, есть вопрос

Код


User-agent: Yandex
Disallow: /_cms/
Disallow: /blocks/
Disallow: /classes/
Disallow: /do/
Disallow: /fonts/
Disallow: /img/
Disallow: /js/
Disallow: /print.html$
Disallow: /?*
Disallow: /*?*
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Allow: /sitemap.xml.gz$
Allow: /

User-agent: *
Disallow: /_cms/
Disallow: /blocks/
Disallow: /classes/
Disallow: /do/
Disallow: /fonts/
Disallow: /img/
Disallow: /js/
Disallow: /print.html$
Disallow: /?*
Disallow: /*?*
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Allow: /sitemap.xml.gz$
Allow: /

User-agent: Mediapartners-Google
Disallow:
Allow: /

#Sitemap
Sitemap: http://www.site.com/sitemap.xml

смысл понятен и синтаксис вроде как (вроде как!) верен. С удивлением обнаружил с утра, что Гугл, не смотря на запрет проиндексировал страницу print.html. Подскажите, где я налажал?

спасибо

unicross

Дата 28.4.2010, 13:19 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 422
Регистрация: 15.6.2008

Репутация: 1
Всего: 53

Цитата

robot.txt - несмотря на запрет Гугл индексирует

Как точно называется файл? Если как в названии темы, то это неправильно. Название файла должно быть robots.txt (с буквой S). Регистр символов важен. Файл должен быть расположен в корневой папке сайта.

Все директивы Allow советую убрать. Все, что не запрещено, значит разрешено.

Кроме того, не все роботы понимают специальные символы. Так что в разделе для всех роботов спецсимволы лучше не использовать. К Гуглю правда это не относится.

Frozen_Coyote

Дата 28.4.2010, 21:34 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 230
Регистрация: 20.9.2007

Репутация: нет
Всего: нет

Цитата(unicross @ 28.4.2010, 13:19

)

Если как в названии темы, то это неправильно

нет нет, конечно же файл с S на конце - опечатался просто

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Администрирование Web серверов и Web служб \| Следующая тема »