Конфигурация: Win 2003 + IIS + ISA

Серверная часть работает на perl, Смотрю мониторинг ISA все запросы проходят нормально, кроме запросов от Yandex, всегда с ошибками, 10053 Программа на вашем хост-компьютере разорвала установленное подключение - наиболее часто встречающаяся. 

подскажите, что может быть?

Эта ошибка возникает, если завершился таймаут при передаче данных. Было такое, когда использовал менеджер закачки, качал что-то, а сервак еле справлялся с нагрузкой, вот и появлялась ошибка 10053. Вобщем заканчивается таймаут на открытие сокета.

Но еще раз повторюсь проблемма возникает только с запросами от Яндекса... одновременно с ним идут другие запросы от обычных пользователей и все нормально.

Да, Забыл сказать, что изменилась струкутура сайта, и, стоит переадресация с помощью IIFR на первую страницу в случае если пользователь перейдет по ссылке со старого сайта. Так вот, все запросы Яндекса идут по старым ссылкам.

Т.е. проблема возникает из-за перенаправления? Посмотрите какие заголовки ваш сервер при этом возвращает.

Не могу посмотреть, что выдает сервер Яндексу, т.к. у меня при подключении все нормально.

Вот пример запроса со старого сайта: http://www.fastbook.ru/shop.cgi?action=card&GoodId=75052
Вот как она будет вылядеть на новом: http://www.fastbook.ru/card/75052

Редирект делается с помошью IIFR

Если ввести что-нибудь, чего на сайте нету, например http://www.fastbook.ru/djfdks/dfsd делается автоматический редирект на главную страницу.

Добавлено через 1 минуту и 9 секунд
ЗЫ FF заголовки не отображает:(

Зашел по 1-й ссылке, по 2-й, никакого редиректа у вас там не стоит. Яндекс куда заходит, в каком месте появляется ошибка 10053?
Замечу, что с точки зрение поисковой оптимизации, ссылки организованы неправильно. Не стоит добавлять идентификатор сессии к ссылкам. У вас при заходе каждый раз новые ссылки получаются. Поисковики вас еще не забанили?))
И кстати, 404-я организована тоже неверно.
В поисковом индексе у вас будет очень много дублей и вы в скором времени получите бан, если еще не получили.
зы. эх, написать чтоль статью по сео, описывающую коды состояний?  

идентификатор сессии нужен для идентификации пользователя при работе с сайтом при отключенных кукисах, как же ео по другому передавать? ЗЫ Т. к. сайт в процессе тестирования, идентификация по кукисам отключена, и поэтому, везде передается сессионный идентификатор.


Хм.. по идее она не должна появляться вообще, т.к. в IIFR последня строка отправляет пользователя на главную страницу... Можно пример запроса с 404 страницей?

Добавлено через 1 минуту и 35 секунд

Яндекс идет по адресу http://www.fastbook.ru/shop.cgi?action=card&GoodId=75052 результатом является эта ошибка - это я вижу в мониторинге ISA сервера.

Добавлено через 6 минут и 44 секунды
Вот пример:

Соответсвующий запрос (http://www.fastbook.ru/shop.cgi?CategoryId...;action=catalog) в браузере отрабатывает нормально.

Itsys, может у вас слишком много открытых соединений во время обхода роботом яндекса?
Нагрузка какая-либо не наблюдается?

Да сколько угодно, тыц, тыц. Обратите внимание на заголовки.

касательно редиректа: в проекте, с которым я работаю, стоял редирект 301 для старых адресов на новые. Яндекс просто игнорировал редирект - адреса оставлял в своей базе(несколько раз с перерывами пытался зайти по уже не существующим адресам), но, получая редирект, убирал их из индекса и вносил в список ошибок индексирования.как-то странно у Яндекса с редиректом. и у нас адреса с редиректом в статистике ошибок шли под разными категориями. это было на прошлой неделе, решилось отключением редиректа для yandexbot'a по заголовку user agent.
и это не смотря на то, что в faq'e утверждается: переход будет и станет индексироваться новый адрес.

Нагрузки никакой... остальные запросы, в том числе от Googla и по старым ссылкам проходят нормально.


В том то и дело, что здесь не "редирект" в классическом понимании, т.е. выдача статуса 301, а использование ISAPI фильтра, который для сервера переписывает запрос, его чаще всего используют для оптимизации ссылок, т.е. вместо client.cgi?action=print&form=f1&params=pdf делается ссылка /print/f1/pdf, которая на лету для скрипта переписывается, а для клиента идет стандартный 200 статус, хотя такой структуры папок на сервере нет.

Удалось решить проблему?
У вас сайт зареген в яндекс вебмастер? Если да, то там показывают какие ошибки встретил робот индексатор на сайте.
З.Ы. У вас нет редиректа, в апаче это называется mod_rewrite. Редирект идет с кодами 301, 302.

Зарегистрировался в вебмастере на Яндексе - ошибка "Неверный HTTP-заголовок" В описании написано, что сай возвращает заголовки не по стандарту.

Заголовки возвращаются следующие:
HTTP 200 OK
Pragma: no-cache\n
Cache-Control: no-cache
Expires: Thu Jan  1 00:00:00 1970
Content-type: text/html; charset=windows-1251


Чего здесь не так?

Проблема решена.

Вместо HTTP 200 OK
Сайт должен возвращать HTTP/1.1 200 OK