|
|
|
mita |
|
|||
Новичок Профиль Группа: Участник Сообщений: 25 Регистрация: 30.5.2005 Репутация: нет Всего: нет |
Яндекс заходит на сайт, но не индексирует. Почему?
В логах записано: "GET /robots.txt HTTP/1.1" 200 23 "-" "Yandex/1.03.003 (compatible; Win16; I)" "GET / HTTP/1.1" 200 10866 "-" "Yandex/1.03.003 (compatible; Win16; I)" и после этого все, яндекс у меня на сайте больше ничего не делает и уходит. В robots.txt записано следующее: User-agent: * Disallow: , т.е. разрешает индексить всё, но не индексирует. Притом эта проблема не так давно возникла на многих сайтах. Помогите разобраться в чем дело, и как заставить робота делать то что он должен?? Это сообщение отредактировал(а) mita - 26.1.2007, 19:19 |
|||
|
||||
mishaSL |
|
|||
Эксперт Профиль Группа: Участник Клуба Сообщений: 1046 Регистрация: 10.1.2007 Где: Санкт-Петербург Репутация: нет Всего: 54 |
Это означает, что весь сайт закрыт к индексации. Поменяй robots.txt и все будет индексироваться. А на будущее вот пару ссылок: Проверка robots.txt Яндексом: http://www.yandex.ru/cgi-bin/test-robots Стандпрт файла robots.txt: http://www.citforum.ru/internet/search/rbtspec.shtml -------------------- Лучший способ научиться программированию - это посмотреть как это делают другие... |
|||
|
||||
mita |
|
|||
Новичок Профиль Группа: Участник Сообщений: 25 Регистрация: 30.5.2005 Репутация: нет Всего: нет |
...проверила - все нормально... http://www.yandex.ru/cgi-bin/test-robots >>Данный файл robots.txt ничего не запрещает. эта запись означает что весь сайт разрешен к индексации, а вот запись Disallow:/ как раз значит что весь сайт закрыт |
|||
|
||||
mishaSL |
|
|||
Эксперт Профиль Группа: Участник Клуба Сообщений: 1046 Регистрация: 10.1.2007 Где: Санкт-Петербург Репутация: нет Всего: 54 |
mita, ты пойми что есть стандарт по которому пишется robots.txt, если ты пишешь в robots.txt Disallow:, то дальше должен идти url (или его часть) который запрещен к индексации.
Самый лучший вариант это написать в support Яндекса, обычно отвичают в течении 5 дней. Может на твой сайт наложен фильтр или вообще забанен -------------------- Лучший способ научиться программированию - это посмотреть как это делают другие... |
|||
|
||||
mita |
|
|||
Новичок Профиль Группа: Участник Сообщений: 25 Регистрация: 30.5.2005 Репутация: нет Всего: нет |
вот как раз по стандарту:
Disallow: - разрешить все Disallow:/ - запретить все Если я буду по каджому своему сайту писать в саппорт меня спамером там назовут Сайты не в бане. Они только что созданы, имеют уникальный контент, в общем ничего левого за что банят. Однако такое поведение яндекса наблюдается......возможно это нормально, еси так что что это значит?? Почему основной индексирующий заходит, обращается к роботс, корню и уходит?? "GET /robots.txt HTTP/1.1" 200 23 "-" "Yandex/1.03.003 (compatible; Win16; I)" "GET / HTTP/1.1" 200 10866 "-" "Yandex/1.03.003 (compatible; Win16; I)" (кстати дело совсем не в роботс.тхт, там где он отсутствует тож иногда яндекс себя так ведет) |
|||
|
||||
mishaSL |
|
|||
Эксперт Профиль Группа: Участник Клуба Сообщений: 1046 Регистрация: 10.1.2007 Где: Санкт-Петербург Репутация: нет Всего: 54 |
Есть конечно еще куча вариантов почему может не индексировать, но это уже странно:
1. Сервер отдает ответ не равный 200 (посмотри заголовки, если не 200, то индексации не будет, это бывает крайне редко, когда сервер настроен не правильно) 2. Один раз видел что не индексировался из-из html кода (видел только один раз такое, но нам html было сложно назвать html-ем все о одну строку и атрибуты вообще неизвестно откуда) 3. Иногда не индексируется из-за очень большого времени отклика сервера (когда время загрузки большое (точно не могу сказать сколько, но где-то более 5 сек)) 4. Не индексируется если домен определен зеркалом другого домена (в твоем случае это не подходит) 5. Ну и соответственно скажи зону и домен какого уровня (последнее время очень плохо индексируются бесплатные домены). -------------------- Лучший способ научиться программированию - это посмотреть как это делают другие... |
|||
|
||||
mita |
|
|||
Новичок Профиль Группа: Участник Сообщений: 25 Регистрация: 30.5.2005 Репутация: нет Всего: нет |
1. норм 2. Да вродь все норм 3. как это можно проверить? 4.- 5. планый нормальный домен Еще хочу заметить, что такую фигню видела только у яндексовского бота....ниодин так больше не делает |
|||
|
||||
mishaSL |
|
|||
Эксперт Профиль Группа: Участник Клуба Сообщений: 1046 Регистрация: 10.1.2007 Где: Санкт-Петербург Репутация: нет Всего: 54 |
Скажи адрес сайта.
-------------------- Лучший способ научиться программированию - это посмотреть как это делают другие... |
|||
|
||||
mita |
|
|||
Новичок Профиль Группа: Участник Сообщений: 25 Регистрация: 30.5.2005 Репутация: нет Всего: нет |
ang-kurs.com например
- - [18/Jan/2007:03:34:47 +0300] "GET /robots.txt HTTP/1.1" 404 - "-" "Yandex/1.01.001 (compatible; Win16; I)" - - [18/Jan/2007:03:34:49 +0300] "GET / HTTP/1.1" 200 22809 "-" "Yandex/1.01.001 (compatible; Win16; I)" или тут australia-gid.ru - - [19/Jan/2007:09:02:38 +0300] "GET /robots.txt HTTP/1.1" 404 8148 "-" "Yandex/1.01.001 (compatible; Win16; I)" (вот тут еще интересно, 404 ошибка, а 8 к принял) - - [19/Jan/2007:09:02:38 +0300] "GET / HTTP/1.1" 200 10622 "-" "Yandex/1.01.001 (compatible; Win16; I)" Это сообщение отредактировал(а) mita - 26.1.2007, 17:16 |
|||
|
||||
catlion |
|
|||
Шустрый Профиль Группа: Участник Сообщений: 96 Регистрация: 20.2.2006 Где: Москва Репутация: нет Всего: 2 |
Насколько я знаю, задача робота "который приходит при добавлении сайта в АддУрл", тупо проверять сайт на доступность. Никаких действий по индексации контента он не производит. |
|||
|
||||
mita |
|
|||
Новичок Профиль Группа: Участник Сообщений: 25 Регистрация: 30.5.2005 Репутация: нет Всего: нет |
Тут я немного ошиблась с формулировкой...
На самом деле АддУрл робот заходит как правильно только для проверки, однако как-то видела что он и индексировал...но меня волнует не вопрос АддУрл-овского робота, а основного индексируещего. Это сообщение отредактировал(а) mita - 26.1.2007, 19:19 |
|||
|
||||
mishaSL |
|
|||
Эксперт Профиль Группа: Участник Клуба Сообщений: 1046 Регистрация: 10.1.2007 Где: Санкт-Петербург Репутация: нет Всего: 54 |
посмотрел на australia-gid.ru вроде все должно индексироваться. Если не индексируется больше месяца, то пиши в support яндекса. Так скажут точно.
-------------------- Лучший способ научиться программированию - это посмотреть как это делают другие... |
|||
|
||||
Igor_CH |
|
|||
Опытный Профиль Группа: Участник Сообщений: 288 Регистрация: 20.3.2005 Репутация: нет Всего: нет |
Было подобное, пиши в support, иногда у них ошибка.
Толко не надейся что с первого раза помогут, скажут что все ок, а сайт все ровно не индексируется, еще раз писать, а может и еще раз, помогут, верь... |
|||
|
||||
mita |
|
|||
Новичок Профиль Группа: Участник Сообщений: 25 Регистрация: 30.5.2005 Репутация: нет Всего: нет |
хм....и сколько раз писать?
один раз меня уже послали |
|||
|
||||
mishaSL |
|
|||
Эксперт Профиль Группа: Участник Клуба Сообщений: 1046 Регистрация: 10.1.2007 Где: Санкт-Петербург Репутация: нет Всего: 54 |
Каким образом послали? Обычно 1 2 раза хватает. Только пиши уважительно и по делу не прикидваясь обычным пользователем интернета который случайно обзовелся сайтом Пиши точные факты, в течении 2 периода мой сайт не индексируется яндексом, в логах пишется то-то, скажите в чем может быть проблема. не наложен ли на мой сайт какой-нибудь фильтр и т.д. Как правило помогает. -------------------- Лучший способ научиться программированию - это посмотреть как это делают другие... |
|||
|
||||
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) | |
0 Пользователей: | |
« Предыдущая тема | Yandex | Следующая тема » |
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |