Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > PHP: Общие вопросы > Парсер wordstat.yandex.ru

Автор: Elfer 1.3.2012, 14:32

Второй день воюю с парсером wordstat.yandex.ru. При обращении к страничке каждый раз вылазит капча. Подключил уже и антикапчу и посылаю post данные с ответом капчи и всё равно капча и капча. Куки посылаю тоже. Может есть у кого кусок кода, где идет обращение к яндекс.вордстат и капча не вылазит? Как добиться, чтобы капча не вылазила? Обрыл весь инет, везде старые примеры, которые на данный момент не работают.

Автор: krundetz 2.3.2012, 11:39

Elfer, какие кукисы отсылал?

Вообще нужно, чтобы для этого кукиса была введена правильная капча. То есть на стороне сервера должна быть однозначная ассоциация что капча пройдена.

Автор: Elfer 2.3.2012, 16:02

куки 2 отсылаю:
1) yandexuid
2) fuid01
Значения куки беру из браузера Google Chrome, когда я посещал wordstat.yandex.ru, куки прописались с браузере.
Но передаю я куку или нет через скрипт, в header не приходит никакой информации об установки куки. В файл кука тоже не прописывается.

Код


curl_setopt($this->ch, CURLOPT_COOKIEJAR, $this->cookie_file);

Капча вводится правильная, проверял каждую капчу. Отправлял через CURL POST-данные капчи и всех input полей. В итоге загружается страничка такая же, с просьбой ввести капчу, никакие куки не приходят. Вроде в этом деле профи, уже столько всяких парсеров написал, но тут просто погряз в трясине. Никак не могу это преодолеть.

Автор: krundetz 3.3.2012, 10:16

Elfer, а заголовки какие отправляешь?

Когда парсил выдачу, специально все что на странице было(картинки, скрипты, стили) тоже скриптом запрашивал.

Автор: Elfer 3.3.2012, 10:47

Неа, только страницу и капчу. Думаете в этом дело, что не загружаю остальные файлы?

Автор: krundetz 4.3.2012, 13:43

Цитата(Elfer @ 3.3.2012, 10:47

)

Думаете в этом дело, что не загружаю остальные файлы?

Возможно. Там тоже куча куков выдается, возможны зависимости. Загружать их не обязательно, достаточно запросить заголовки (так сказать симитировать кеш).

С капчей тоже не все просто, урл меняется иногда, точнее домен, а при запросе каптча скачивается и с того и с другого. Также капча не прямая, а с ридиректом, если ничего не путаю.

Elfer, как проверялся отправляемый запрос?

про заголовки ничего не ответил, также интересно как реализована поддержка сессии?

Автор: Elfer 5.3.2012, 15:49

Заголовки через CURLOPT_HTTPHEADER, оказывается вообще не отправлялись. Добавил их. Посмотрю что измениться.
Про капчу я так и не понял, что вы хотели сказать. Я загружаю капчу по абсолютному пути. Там не относительный путь.
Сессия с самого начала скрипта запускается функцией session_start().

Автор: Elfer 5.3.2012, 16:33

Yes! Добился своего. В html-код оказывается фрейм был, с адресом http://kiks.yandex.ru/su/. Когда его загружаешь, устанавливаются куки. Всё, задача решена!