Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > Продвижение и оптимизация сайтов > robots.txt в корневом каталоге сайта


Автор: Ground 24.6.2006, 14:42
Есть подозрение (такое было на народе), что это знак поисковым машинам, не индексировать сайт.. Так ли это?
PS:Хостинг платный. 
PSS: Чтобы индексировать сайт в поисковиках, нужны ссылки с других сайтов. А ссылка из подписи или профайла подойдет? 

Автор: z-END 24.6.2006, 20:16
Модератор: Пожалуйста, один топик - один вопрос.
Robots.txt - файл настроек для поисковых роботов
http://www.citforum.ru/internet/search/rbtspec.shtml 

Автор: R.M. 25.6.2006, 01:12
Цитата(Ground @  24.6.2006,  15:42 Найти цитируемый пост)
Чтобы индексировать сайт в поисковиках, нужны ссылки с других сайтов.

Не обязательно, робот сам придёт, особенно если сайт зарегистрировать в поисковике.

Цитата(Ground @  24.6.2006,  15:42 Найти цитируемый пост)
ссылка из подписи или профайла подойдет? 

Смотря где. На форумах Vbulletin ссылки блокируются. На IPB пойдут. 

Автор: Ground 25.6.2006, 02:22
Я тут почитал ссылку и получается что просто надпись User-Agent: * не мешает поисковым машинам? 

Автор: oksale 25.6.2006, 09:55
Цитата

Я тут почитал ссылку и получается что просто надпись User-Agent: * не мешает поисковым машинам? 


Зачем тогда вообще создавать этот файл? Файл robots.txt служит для наложения ограничений на индексацию сайта: например, запретить индексацию определенных директорий, или запретить определенным поисковым системам  индексировать сайт. Если же файла нет, Это значит, что никакие ограничения не накладываются. 

Автор: z-END 25.6.2006, 13:40
Цитата(Ground @  25.6.2006,  03:22 Найти цитируемый пост)
Я тут почитал ссылку и получается что просто надпись User-Agent: * не мешает поисковым машинам? 

для того чтобы проверить что запрещет Robots.txt в яндексе есть форма проверки: http://www.yandex.ru/cgi-bin/test-robots?host= 

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)