Модераторы: Rodman

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Яндекс заходит на сайт, но не индексирует. Почему? 
:(
    Опции темы
mita
Дата 21.1.2007, 12:44 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 25
Регистрация: 30.5.2005

Репутация: нет
Всего: нет



Яндекс заходит на сайт, но не индексирует. Почему?

В логах записано:

"GET /robots.txt HTTP/1.1" 200 23 "-" "Yandex/1.03.003 (compatible; Win16; I)"
"GET / HTTP/1.1" 200 10866 "-" "Yandex/1.03.003 (compatible; Win16; I)"


и после этого все, яндекс у меня на сайте больше ничего не делает и уходит.

В robots.txt записано следующее:
User-agent: *
Disallow:
, т.е. разрешает индексить всё, но не индексирует.

Притом эта проблема не так давно возникла на многих сайтах.

Помогите разобраться в чем дело, и как заставить робота делать то что он должен??


Это сообщение отредактировал(а) mita - 26.1.2007, 19:19
PM MAIL   Вверх
mishaSL
Дата 23.1.2007, 12:18 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник Клуба
Сообщений: 1046
Регистрация: 10.1.2007
Где: Санкт-Петербург

Репутация: нет
Всего: 54



Цитата(mita @  21.1.2007,  12:44 Найти цитируемый пост)
В robots.txt записано следующее:
User-agent: *
Disallow:


Это означает, что весь сайт закрыт к индексации. Поменяй robots.txt и все будет индексироваться. А на будущее вот пару ссылок:
Проверка robots.txt Яндексом:
http://www.yandex.ru/cgi-bin/test-robots

Стандпрт файла robots.txt:
http://www.citforum.ru/internet/search/rbtspec.shtml




--------------------
Лучший способ научиться программированию - это посмотреть как это делают другие...
PM MAIL   Вверх
mita
Дата 23.1.2007, 22:06 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 25
Регистрация: 30.5.2005

Репутация: нет
Всего: нет



Цитата

Это означает, что весь сайт закрыт к индексации. 



...проверила - все нормально...

http://www.yandex.ru/cgi-bin/test-robots
>>Данный файл robots.txt ничего не запрещает.

эта запись означает что весь сайт разрешен к индексации,
а вот запись Disallow:/   как раз значит что весь сайт закрыт


PM MAIL   Вверх
mishaSL
Дата 25.1.2007, 16:22 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник Клуба
Сообщений: 1046
Регистрация: 10.1.2007
Где: Санкт-Петербург

Репутация: нет
Всего: 54



mita, ты пойми что есть стандарт по которому пишется robots.txt, если ты пишешь в robots.txt Disallow:, то дальше должен идти url (или его часть) который запрещен к индексации. 
Самый лучший вариант это написать в support Яндекса, обычно отвичают в течении 5 дней. Может на твой сайт наложен фильтр или вообще забанен smile 




--------------------
Лучший способ научиться программированию - это посмотреть как это делают другие...
PM MAIL   Вверх
mita
Дата 25.1.2007, 21:33 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 25
Регистрация: 30.5.2005

Репутация: нет
Всего: нет



вот как раз по стандарту:

Disallow: - разрешить все

Disallow:/  - запретить все

Если я буду по каджому своему сайту писать в саппорт меня спамером там назовут smile

Сайты не в бане.

Они только что созданы, имеют уникальный контент,  в общем ничего левого за что банят.

Однако такое поведение яндекса наблюдается......возможно это нормально, еси так что что это значит??

Почему основной индексирующий заходит, обращается к роботс, корню и уходит??

"GET /robots.txt HTTP/1.1" 200 23 "-" "Yandex/1.03.003 (compatible; Win16; I)"
"GET / HTTP/1.1" 200 10866 "-" "Yandex/1.03.003 (compatible; Win16; I)"

(кстати дело совсем не в роботс.тхт, там где он отсутствует тож иногда яндекс себя так ведет)
PM MAIL   Вверх
mishaSL
Дата 26.1.2007, 12:48 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник Клуба
Сообщений: 1046
Регистрация: 10.1.2007
Где: Санкт-Петербург

Репутация: нет
Всего: 54



Есть конечно еще куча вариантов почему может не индексировать, но это уже странно:
1. Сервер отдает ответ не равный 200 (посмотри заголовки, если не 200, то индексации не будет, это бывает крайне редко, когда сервер настроен не правильно)
2. Один раз видел что не индексировался из-из html кода (видел только один раз такое, но нам html было сложно назвать html-ем все о одну строку и атрибуты вообще неизвестно откуда)
3. Иногда не индексируется из-за очень большого времени отклика сервера (когда время загрузки большое (точно не могу сказать сколько, но где-то более 5 сек))
4. Не индексируется если домен определен зеркалом другого домена (в твоем случае это не подходит)
5. Ну и соответственно скажи зону и домен какого уровня (последнее время очень плохо индексируются бесплатные домены).




--------------------
Лучший способ научиться программированию - это посмотреть как это делают другие...
PM MAIL   Вверх
mita
Дата 26.1.2007, 13:58 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 25
Регистрация: 30.5.2005

Репутация: нет
Всего: нет



Цитата

1. Сервер отдает ответ не равный 200 (посмотри заголовки, если не 200, то индексации не будет, это бывает крайне редко, когда сервер настроен не правильно)
2. Один раз видел что не индексировался из-из html кода (видел только один раз такое, но нам html было сложно назвать html-ем все о одну строку и атрибуты вообще неизвестно откуда)
3. Иногда не индексируется из-за очень большого времени отклика сервера (когда время загрузки большое (точно не могу сказать сколько, но где-то более 5 сек))
4. Не индексируется если домен определен зеркалом другого домена (в твоем случае это не подходит)
5. Ну и соответственно скажи зону и домен какого уровня (последнее время очень плохо индексируются бесплатные домены).



1. норм
2. Да вродь все норм
3. как это можно проверить? 
4.-
5. планый нормальный домен


Еще хочу заметить, что такую фигню видела только у яндексовского бота....ниодин так больше не делает

PM MAIL   Вверх
mishaSL
Дата 26.1.2007, 15:53 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник Клуба
Сообщений: 1046
Регистрация: 10.1.2007
Где: Санкт-Петербург

Репутация: нет
Всего: 54



Скажи адрес сайта.


--------------------
Лучший способ научиться программированию - это посмотреть как это делают другие...
PM MAIL   Вверх
mita
Дата 26.1.2007, 16:21 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 25
Регистрация: 30.5.2005

Репутация: нет
Всего: нет



ang-kurs.com например

 - - [18/Jan/2007:03:34:47 +0300] "GET /robots.txt HTTP/1.1" 404 - "-" "Yandex/1.01.001 (compatible; Win16; I)"
 - - [18/Jan/2007:03:34:49 +0300] "GET / HTTP/1.1" 200 22809 "-" "Yandex/1.01.001 (compatible; Win16; I)"


или тут australia-gid.ru

 - - [19/Jan/2007:09:02:38 +0300] "GET /robots.txt HTTP/1.1" 404 8148 "-" "Yandex/1.01.001 (compatible; Win16; I)" (вот тут еще интересно, 404 ошибка, а 8 к принял)
 - - [19/Jan/2007:09:02:38 +0300] "GET / HTTP/1.1" 200 10622 "-" "Yandex/1.01.001 (compatible; Win16; I)"



Это сообщение отредактировал(а) mita - 26.1.2007, 17:16
PM MAIL   Вверх
catlion
Дата 26.1.2007, 18:37 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 96
Регистрация: 20.2.2006
Где: Москва

Репутация: нет
Всего: 2



Цитата

Еси заходит робот, который приходит при добавлении сайта в АддУрл, то происходит то что описано выше. Однако если приходит основной индексирующий робот - он все нормально индексирует


Насколько я знаю, задача робота "который приходит при добавлении сайта в АддУрл", тупо проверять сайт на доступность. Никаких действий по индексации контента он не производит.
PM MAIL WWW ICQ   Вверх
mita
Дата 26.1.2007, 19:19 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 25
Регистрация: 30.5.2005

Репутация: нет
Всего: нет



Тут я немного ошиблась с формулировкой...

На самом деле АддУрл робот заходит как правильно только для проверки, однако как-то видела что он и индексировал...но меня волнует не вопрос АддУрл-овского робота, а основного индексируещего.

Это сообщение отредактировал(а) mita - 26.1.2007, 19:19
PM MAIL   Вверх
mishaSL
Дата 28.1.2007, 16:37 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник Клуба
Сообщений: 1046
Регистрация: 10.1.2007
Где: Санкт-Петербург

Репутация: нет
Всего: 54



посмотрел на australia-gid.ru вроде все должно индексироваться. Если не индексируется больше месяца, то пиши в support яндекса. Так скажут точно. smile 


--------------------
Лучший способ научиться программированию - это посмотреть как это делают другие...
PM MAIL   Вверх
Igor_CH
Дата 28.1.2007, 17:09 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 288
Регистрация: 20.3.2005

Репутация: нет
Всего: нет



Было подобное, пиши в support, иногда у них ошибка.
Толко не надейся что с первого раза помогут, скажут что все ок, а сайт все ровно не индексируется, еще раз писать, а может и еще раз, помогут, верь...
PM MAIL   Вверх
mita
Дата 29.1.2007, 21:33 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 25
Регистрация: 30.5.2005

Репутация: нет
Всего: нет



хм....и сколько раз писать?
один раз меня уже послали smile
PM MAIL   Вверх
mishaSL
Дата 30.1.2007, 12:58 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник Клуба
Сообщений: 1046
Регистрация: 10.1.2007
Где: Санкт-Петербург

Репутация: нет
Всего: 54



Цитата(mita @  29.1.2007,  21:33 Найти цитируемый пост)
один раз меня уже послали

Каким образом послали?



Цитата(mita @  29.1.2007,  21:33 Найти цитируемый пост)
хм....и сколько раз писать?

Обычно 1 2 раза хватает. Только пиши уважительно и по делу не прикидваясь обычным пользователем интернета который случайно обзовелся сайтом smile  Пиши точные факты,  в течении 2 периода мой сайт не индексируется яндексом, в логах пишется то-то, скажите в чем может быть проблема. не наложен ли на мой сайт какой-нибудь фильтр и т.д. Как правило помогает.



--------------------
Лучший способ научиться программированию - это посмотреть как это делают другие...
PM MAIL   Вверх
mita
Дата 30.1.2007, 16:50 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 25
Регистрация: 30.5.2005

Репутация: нет
Всего: нет



так....уже с двуя сайтами "послали"

Послали в том плане, что говоорят что все хоршо и ваш сайт обязательно будет проиндексирован по мере обхода робота.

Ну 2 месяца это уже слишком для ожидания его обхода.
PM MAIL   Вверх
mishaSL
Дата 30.1.2007, 17:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник Клуба
Сообщений: 1046
Регистрация: 10.1.2007
Где: Санкт-Петербург

Репутация: нет
Всего: 54



Еще раз подробнее рассмотрел проблемы с твоим сайтом australia-gid.ru.
Вроде все нормально, сегодня ночью была индексация у тебя проиндексировало 1 страницу http://www.yandex.ru/yandsearch?ras=1&...ustralia-gid.ru

Только посмотри в логах какой робот индексировал, если Yandex/1.01.001 (compatible; Win16; I)  - это основной индексирующий робот, то должен дальше тоже нормально индексироваться. Если Yandex/1.03.003 (compatible; Win16; D) - это робот, обращающийся к странице при добавлении ее через форму, то может снова потерять твой сайт.

А вообще должен индексировать, с сервером вроде все нормально, другие сайты с этого сервера тоже индексирует http://search.msn.com/results.aspx?q=ip%3A...8&FORM=MSNH

На самом деле последние месяцы Яндекс плохо индексировал большенство сайтов, т.к. железо меняли они. smile 


--------------------
Лучший способ научиться программированию - это посмотреть как это делают другие...
PM MAIL   Вверх
mita
Дата 30.1.2007, 20:58 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 25
Регистрация: 30.5.2005

Репутация: нет
Всего: нет



Индексировал основной индексирующий.

Интересно почему в логах у меня проиндексировано еще 26 января страниц 20, 
а в поиске после апдейта отображается только одна...

Возможно просто нужно ждать следующего апдейта, но возможно этому есть объяснение...

такая же ситуация и со вторым сайтом: ang-kurs.com
PM MAIL   Вверх
mishaSL
Дата 31.1.2007, 12:38 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник Клуба
Сообщений: 1046
Регистрация: 10.1.2007
Где: Санкт-Петербург

Репутация: нет
Всего: 54



Страницы могут быть проиндексированы давно, а появиться в результатах сейчас. Они появляются постепенно. В твоем случае я думаю они должны появиться smile 


--------------------
Лучший способ научиться программированию - это посмотреть как это делают другие...
PM MAIL   Вверх
Str!pe
Дата 5.2.2007, 19:25 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


профиль удален
****


Профиль
Группа: Участник
Сообщений: 2426
Регистрация: 12.6.2005
Где: На земле.

Репутация: 5
Всего: 152



Цитата(mita @  30.1.2007,  16:50 Найти цитируемый пост)
Послали в том плане, что говоорят что все хоршо и ваш сайт обязательно будет проиндексирован по мере обхода робота.


Робот может и даллеко не через месяц прийти.

mita
На валидность кода проверь его 
http://validator.w3.org/


--------------------
Со мной можно связаться по скайпу или по аське.
Занимаюсь продвижением сайтов - самой таргетированной рекламой.
PM MAIL ICQ Skype   Вверх
dimihendrix
Дата 27.10.2012, 17:56 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 1
Регистрация: 27.10.2012

Репутация: нет
Всего: нет



Написал статью «Почему сайт не индексируется, или, о чём нужно было позаботиться заранее» http://webcaum.ru/pochemu-sajt-ne-indeksiruetsya.html. Почитайте, может кому-то пригодится.
PM MAIL   Вверх
lesic25
Дата 29.12.2012, 03:42 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 7
Регистрация: 26.12.2012
Где: Вологда

Репутация: нет
Всего: нет



для Яндекса создается отедельная запись в robots.txt обязательно укажите host:название главного зеркала сайта
PM MAIL WWW ICQ   Вверх
SozdaySayt
Дата 16.1.2013, 19:18 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 9
Регистрация: 16.1.2013

Репутация: нет
Всего: нет



Для быстрой индексации сайта, рекомендую воспользоваться нашим сервисом SozdaySayt.ru, выполним качественно кросспостинг по различным блогам и микроблогам, есть бесплатный тарифный план, так что платить даже не придется. После данной услуги Ваш сайт начнет индексироваться гораздо быстрее и лучше.
PM MAIL WWW   Вверх
Gampos
Дата 23.4.2013, 07:48 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 6
Регистрация: 23.4.2013
Где: Владивосток

Репутация: нет
Всего: нет



Кросспостинг, твитер, все это ускорит индексацию.
PM MAIL WWW   Вверх
Алексей1985
Дата 5.10.2013, 17:59 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 1
Регистрация: 5.10.2013
Где: Россия, Оренбург

Репутация: нет
Всего: нет



Цитата(mita @ 21.1.2007,  12:44)
Яндекс заходит на сайт, но не индексирует. Почему?

В логах записано:

"GET /robots.txt HTTP/1.1" 200 23 "-" "Yandex/1.03.003 (compatible; Win16; I)"
"GET / HTTP/1.1" 200 10866 "-" "Yandex/1.03.003 (compatible; Win16; I)"


и после этого все, яндекс у меня на сайте больше ничего не делает и уходит.

В robots.txt записано следующее:
User-agent: *
Disallow:
, т.е. разрешает индексить всё, но не индексирует.

Притом эта проблема не так давно возникла на многих сайтах.

Помогите разобраться в чем дело, и как заставить робота делать то что он должен??

Да возможно сайт закрыт от индексации в файле robots.txt, просмотреть можно набрав в строке браузера доменное имя вашего сайта и после слеша "/" дописать  "robots.txt" , например так http://ваш сайт/robots.txt и посмотрите какие папки и директории закрыты. Более подробно о настройке индексайии читайте тут : http://inetdomrabota.ru/optimizaciya-html-...hej-indeksacii/
PM MAIL WWW ICQ   Вверх
kryapov
Дата 3.3.2014, 14:57 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 1
Регистрация: 3.3.2014

Репутация: нет
Всего: нет



Возможно по фильтр попал.
_________________
http://www.etc-russia.ru/projects/light/
PM MAIL   Вверх
GlobalTechnology
Дата 4.3.2014, 09:46 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 2
Регистрация: 4.3.2014

Репутация: нет
Всего: нет



Ценное замечание) Спустя несколько лет)
PM MAIL WWW   Вверх
Google
  Дата 21.11.2017, 00:13 (ссылка)  





  Вверх
Страницы: (2) [Все] 1 2 
Ответ в темуСоздание новой темы Создание опроса
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Yandex | Следующая тема »


 




[ Время генерации скрипта: 0.1484 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.