Добрый день. Есть необходимость получить результаты выдачи по поисковым словам с гугля, яхуу, алтависты и подобных.
Необходимо:
- отправить запрос
- получить страницу
- собрать со страницы все УРЛ(потом отфильтровать мусор)

Вопрос: что лучше использовать TwebBrowser, или TEmbeddedWB?
оба являются надстройкой над ИЕ?
а может ТХром попробовать? за последний год сделали уже что то рабочее?
есть кто в курсе?

Думаю, что idHttp.Get() будет достаточно

Шо, опять с начала?

недостаточно - проверено

и не с начала а уже с  окончания

Все зависит от того, что подразумевается под "получить страницу". Если в читаемом для пользователя виде, то без WB (или подобного) никак. Но если показывать результат не нужно, то idHttp действительно будет достаточно.


Совершенно верно.

Зачем? TWebBrowser хорошо описан, куча примеров, IE по умолчанию устанавливается всем. Это уже велосипед.

А конкретнее, чего не хватает?

этого самого - выдачи УРЛ ссайтов в ответ на передачу по GET запроса на поиск в хугль или яхуу
шманьдекс и рамблЕр пока дают

idHttp.Get() вернет тебе весь html-код ответа. Парси его и вытягивай что тебе надо.

ага, вернет, в виде скриптов. что то не припомню где там у ИНДИ встроенный интерпретатор жаба-скрипт
или вообще где он на делфи

не знаю, не знаю 

у меня вот, названия, имена сайтов
взял прямо из мемо текст и сохранил в файл, переименовал в html



открыл в лисе, поменял кодировки и вуаля

а ключи? 
у меня:
https://www.google.ru/search?ie=UTF-8&hl=ru&q=далее запрос
у тебя:
/search?q=запрос

в браузере это не имеет значения(если запрос вводить через форму?)
не прийдется ли постоянно менять настройки программы?

яхуу еще пока проверяю(там можно получить сразу 50 УРЛ, что предпочтительнее)

ну вот, яхуу как и ранее выдает мусор:

в ответ на запрос:
http://search.yahoo.com/search;_ylt=A0oG7h...e0wATeZXNyoA?p=  (это из браузера срисованно)
%D1%80%D1%8B%D0%B1%D0%B0%D0%BB%D0%BA%D0%B0%20%D0%BD%D0%B0%20%D0%BA%D0%B8%D0%BF%D1%80%D0%B5  (это слова запроса)
&fr2=sb-top&fr=sfp (окончание УРЛ, все как в браузере)

Может там нужно по другому формировать запрос?

возможно по другому, например, с использованием UrdEncode/URLDecode, посмотри в адресную строку браузера, там ведь кириллица, а ты что отправляешь?

как раз то что скопированно из строки браузера(УТФ-8) и отправляю
у меня на стенде три ЕДИТ:
1 - ввод УРЛ(http://search.yahoo.com/search;_ylt=A0oG7h...e0wATeZXNyoA?p=  )
2 - слова запроса после обработки их UrlEncode  из кирилицы в (%D1%80%D1%8B%D0%B1%D0%B0%D0%BB%D0%BA%D0%B0%20%D0%BD%D0%B0%20%D0%BA%D0%B8%D0%BF%D1%80%D0%B5 )
3 - окончание УРЛ(там обычно число страниц выдачи прописано)  &fr2=sb-top&fr=sfp(в данном конкретном случае)
потом три строки суммируются в одну и идут в Loader.Get(Url), ну все как обычно

для шмандекса, рамблера и гугля(если добавить HTTPs) все более менее работает(хотя не ясно как из гугля выдоить 50 УРЛ сразу, неясно что будет если найти ссылку на следующую страницу и загрузить ее, читал там возможно косяки)
яхуу и алтависта(что одно и тоже) выдают 100 УРЛ в запросе, к тому же у них в значительной мере другие сайты показаны по запросу

никто не пробовал яхуу хакнуть?