Есть страница на стороннем домене, которая получает данные через AJAX Стоит задача грузить эту страницу на сервер, данные обрабатывать и отдавать на свою страницу. 
Замучался осознавать, какие запросы посылает XMLHttpRequest. Метод там POST. При попытках получить страницу через сокет с запросом по адресу этой страницы, получаю 302 код с перенапрвлением на страницу ошибок.  Пробовал загрузить страницу в on-line, потом Денвером направить на свой URL,  а потом посмотреть лог. Предварительно я отредактировал httpd.conf чтобы в лог писались заголовки. Так вот, оказалось что запрос выглядит как POST file?key=value, кук там нет, но я не смог посмотреть тело запроса. При эмуляции  заголовков запроса с помощью php скрипта получаю страницу на которой текст {"value":null,"error":null} и более ничего. Но ведь броузер получает  всё правильно! И как это ему удаётся? Какие есть мысли у гуру?

воровать само по себе плохо, а вот воровать, не имея представленя о том, чего воруешь - это уже диагноз...

Воровать я там ничего не ворую, это данные о предложениях туров крупной компании. Турами торгует небольшая региональная компания по договору с крупной и для её же блага и дохода. Региональной хочется иметь на своём сайте динамически обновляемую информацию со ссылкой, что это товар крупной. Ссылка на крупную компанию важна для региональной как гарантия качества товара.  И где тут воровство? 

В крупной компании могли бы и озаботится тем, чтобы предоставлять информацию своим партнерам в более подходящем виде, чем JSON. А так нужно разбираться в JavaScript'е, который этот json откачивает с сервера и выяснять, что он там с ним делает... Флаг в руки ...

Чесно говоря, я ещё к поставщику с вопросами не приставал, может они и так всё отдадут. Во всяком случае присылают письма с xml файлами несколько раз за день. Но меня зацепил общепознавательный интерес типа "мишка плюшевый снаружи, интересно что внутри" . Разбор JS неинтересен для понимания существа дела, ну какая разница, чего там скрипт делает внутри DOM броузера. В оконцовке он всё равно посылает запрос на сервер согласно спецификации HTTP. Диалог между броузером и сервером интересно послушать. Вот тут и находится непонятное, поэтому и интересное. Есть такая фича в FireFox - FireBug Там есть много чего полезного, DOM налету можно посмотреть, например. Так вот эта фича сеть слушает и лог ведёт, типа какие вызовы были со страницы, HTTP заголовки запроса и заголовки ответа, тело ответа. Поразительно, вызывается на сервере скрипт, ответ содержит строку {"value":null,"error":null}, а страница меняется. Чем объяснить - непонятно. Как будто информация идёт через какой-то другой порт

Если FireBug утверждает, что на каждый Ajax-запрос сервер отвечает одим и тем-же {"value":null,"error":null}, то определенно имеет место быть чудо, возможно, даже зарождение искусственного разума, явно обладающего телепатическими способностями...

У сервера есть возможность определить, идут к нему с помощью xmlHttpRequest или простым GET'ом. Если идут Ajax'ом, то имеется заголовок X-Requested-With: XMLHttpRequest. Если сервер его не видит, он может отреагировать неадекватно...

sergey1818, попробуй поговоить с той компанией, раз 

значит эти файлы генерятся автоматом, и скорей всего лежат на сервере в открытом доступе если я прав то что мешает тебе ими воспользоваться?

Ответ MoLeX Да, файлы лежат в открытом доступе на главной странице сайта компании торгующей турами в четырёх форматах: xls, zipxls, xml и html безовсякого Ajax и необходимости регистрации. Их можно забирать on-line, разбирать потом по полям, писать в базу и устраивать по этой базе поиск. Кроме этого на сайте есть форма которая уже делает поиск по базе продавца. Вот она на Ajax Можно взять и разместить эту форму в IFRAME и не париться. Но меня привлекла загадка диалога клиент-сервер, а не желание как-то решить текущий вопрос и жить дальше. Конечно, те кто написал этот сайт умнее меня (но может и пользовались стандартными библиотеками не задумываясь о смысле действий), надеюсь что есть на данном форуме специалисты ещё круче (поэтому и написал). А мне бы так, планку свою поднять немного повыше, заодно может ещё у кого планка поднимется. Ведь форумы подобного рода для тех кому важен процесс, а уже потом результат.

sergey1818, сайтег в студию 
*ти меня заинтреговал, тоже хоть в нем поколупаюсь*

Ответ ksnk 
Запроса с заговком X-Requested-With: XMLHttpRequest страница не посылает

Добавлено через 4 минуты и 16 секунд
Ответ MoLeX. Пожалуйста.
Страница с формой: http://www.capital-tour.ru/newDynamic/Find.aspx

А то, что форма отправляется POST'ом, а не GET'ом имеет значение? 




?

Добавлено через 2 минуты и 43 секунды
хотя все куки с префиксом __u* - это от urchin'а

Ответ ksnk
Про куки, я разумеется, неправ.  Вот опытные товарищи сразу обратили на них внимание.

Это сообщение отредактировал(а) sergey1818 - 2.4.2008, 15:46

Реплика в пространство.
И где же на этом сайте онлайн бронирование в форматах xls, zipxls, xml и html?......

Ответ ksnk
Разница между GET и POST при выполнении скрипта отправляющего заголовки с сервера весьма велика.

При отправке методом GET получаем любимые 27 байт {"value":null,"error":null},  методом POST всё виснет, словно забыли закрыть заголовки \r\n  Ещё одна, блин, загадка.

Добавлено @ 14:25
Ответ Feldmarschall 
Я же писал, на главной странице сайта. http://www.capital-tour.ru/ в правой колонке основной таблицы.
Скриншот со стрелкой присылать? И там не онлайн бронирование, а прайсы. На http://www.capital-tour.ru/newDynamic/Find.aspx поиск по этим прайсам, что тоже не онлайн бронирование 

В дополнение:   всем подозрительно смотрящим в сторону людей интересующихся вопросами сетевого взаимодействия клиентов и серверов, и меня в частности, сообщаю, что в данном конкретном случае   форма поиска  туров по базе данных компании Капитал-Тур может совершенно БЕСПЛАТНО установлена на сайте компании агента. Об этом написано на странице http://www.capital-tour.ru/turon.aspx Вопросы о том, имеет ли право пользователь посматривать содержимое HTML документов, а также JS скриптов вынести в отдельную тему

Это сообщение отредактировал(а) sergey1818 - 2.4.2008, 17:01