Пишу скрипт, который по ключевому слову залезет в google и проверит кол-во запросов.
Обычно мы делаем так: Открываем https://adwords.google.com/select/KeywordToolExternal .
Вводим ключевое слово и подтверждаем капчу. Открывается страничка https://adwords.google.com/select/KeywordTo...l?defaultView=2 и тут же Ajax'ом подгружается таблица по данному запросу.
Например, я смотрю слово "вода". Получается "Приблизительное среднее количество запросов" - 165 000

Открываю консоль Firebug'а и вижу адрес, по которому грузится эта инфа:
_https://adwords.google.com/select/VariationsTool?adgroupid=0&campaignid=0&adgroupIntegrated=false&skipLogin=true&currencyCode=USD&maxCpcOverride=&targetLanguages=ru&targetCountries=*&synonyms=true&captchaAnswer=qmwfyau&suggest=true&excludedWords=&allowExisting=true&showAdult=false&showTrademark=null&keywords=%D0%B2%D0%BE%D0%B4%D0%B0

Пробую загрузить эту страничку через скрипт, мне возвращает:
Время вашей сессии истекло. Вернитесь на главную страницу AdWords  и снова войдите в систему. 

Но, если я вышеописанную ссылку открываю в браузере - все нормально, загружается нужная мне информация. Есть предположение, что google, как-то определяет, через браузер я открываю страничку или через скрипт. Но и этот момент я предусмотрел и в CURLOPT_USERAGENT пихаю инфу браузера.



Даже https://adwords.google.com/select/KeywordToolExternal пытаюсь загрузить через скрипт, грузится все, кроме капчи, т.е. даже капчу не введешь.

У кого какие идеи?

Сначала пройти авторизацию и сохранить все куки, а потом олучать страницы.

Там нет авторизации. Единственное что там надо, так это ввести капчу. Скрипт загружает эту страничку, а вместо капчи написано "false"

Elfer, сохраните куки.

Подскажите, please, как их программно сохранить? Что-то нашел в Инете, но, наверное не то. Так как файл куков, после загрузки все равно остается пустым. Код куков:


Соответственно вставил его в тело функции:

Смотрите какие заголовки отправляются, че js делает и т.д. сразу так не сказать что именно надо сделать.
ff+firebug+livehttpheaders вам в помощь.

я делал такой скрипт, но я делал с авторизацией, но учитывая политику гугла, уверен, что и без авторизации там камней много, могу сказать, что js скрипты там ничего важного не устанавливают, смотришь отправляемые заголовки и принимаемые(перед этим советую почистить куки)

Вообщем, не получается у меня ничерта, ввожу капчу, отправляю запрос с капчей-ответом, принимаю и отправляю куки, все равно не прокатывает.
SureGOOD, может что подскажете?

ну обычным COOKIEJAR,COOKIEFILE тут не обойтись, там вручную желательно формировать куки(не ручаюсь, но я делал так), а отправлять можно тем же курлом, тем более, что это удобно, внимательно (!!!) посмотрите заголовки при отправке, до отправки и вообще все это нужно досконально проанализировать, гугл парсерам устраивает большие сложности, каждый инструмент имеет свои сложности, но с куками работа идет примерно одна и та же, а вообще для вашей цели советовал бы использовать инструмент "Оценщик траффика" все в том же адвордсе, мне кажется там данные более достоверные, хотя проблемы вашей это не решит)

Это сообщение отредактировал(а) SureGOOD - 25.3.2009, 20:35

Ну как у вас дела?)получилось?)

Слишком много время отнимает. Бросил это дело - ничего не получается. На первое время сделал ручное заполнение статистики запросов. Позже буду опять добивать этот вопрос

Elfer,
API вроде у них не так дорог. Вот для AdSense подобное дело оправдано: не дают небольшим проектам API.