Модераторы: feodorv
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Обработка страниц движком браузера 
:(
    Опции темы
DominiK
Дата 1.4.2009, 23:54 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 77
Регистрация: 11.3.2007
Где: Россия, Омск

Репутация: нет
Всего: нет



Доброго времени суток форумчане!
Передомной стала тривиальная задача. Нужно в многопоточном ражиме, через соксы, работать со страницами, просто говоря - вставлять данные в поля и тыкать по кнопкам, важно при этом полная обработка js, и пр. Поэтому за курл речь не идет. Знаю\слышал\читал что такое возможно только работая с готовым двигом браузера, готовые библиотеки или компоненты VS. Вообщем то я не сталкивался никогда с этим, но знаю что разберусь, нужна только информация от гуру по этому поводу smile 
В какую сторону копать господа? Жду ваших советов.

Это сообщение отредактировал(а) DominiK - 2.4.2009, 00:25
PM MAIL   Вверх
InvalidProperty
Дата 2.4.2009, 14:36 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 356
Регистрация: 31.10.2007
Где: Россия, Казань

Репутация: нет
Всего: 9



А зачем соксы  smile ? просто сокеты уже не рулят??? "Вставлять данные в поля" и "тыкать по кнопкам" достаточно просто:
  •  смотрим на странице вручную каким методом форма отправляет запросы (POST/GET)
  •  смотрим имена или id нужных нам элементов (в которые нужно вставить данные)
  •  тыкнуть на кнопку, которая имеет тип submit можно добавив к запросу ее имя (например, имеется две кнопки типа submit, их имена "yes" и "no". В запросе передаем query + "&yes", если нужно yes)
задача сразу же перестает быть тривиальной, как только ты упоминаешь о полной обработке js. Ты знаешь, что не все поисковые машины js обрабатывают, некоторые обрабатывают не полностью. Я как-то писал дорген, так для гугла у меня было около 4-5 js-методов обхода гугловского определения редиректа.

тем более задача перестает быть даже понятной, как только ты упоминаешь 
Цитата(DominiK @  1.4.2009,  23:54 Найти цитируемый пост)
полная обработка js, и пр

что такое и пр.?

ты, кстати, почему сюда запостил? Тебе так критично, чтобы это было на C/C++? Народ уже много наработок имеет в данной теме на php, perl, python и других скриптовых языках.

Это сообщение отредактировал(а) InvalidProperty - 2.4.2009, 14:38


--------------------
dd if=$0 of=$0 bs=1 count=76 seek=`du -b $0 | awk {'print $1'}` 2>/dev/null
dd if=$0 of=$0 bs=1 count=67 conv=notrunc oflag=append 2>/dev/null
echo $0 >> $0
PM MAIL ICQ Jabber   Вверх
DominiK
Дата 2.4.2009, 16:50 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 77
Регистрация: 11.3.2007
Где: Россия, Омск

Репутация: нет
Всего: нет



Цитата(InvalidProperty @ 2.4.2009,  14:36)
А зачем соксы  smile ? просто сокеты уже не рулят??? "Вставлять данные в поля" и "тыкать по кнопкам" достаточно просто:



  •  смотрим на странице вручную каким методом форма отправляет запросы (POST/GET)


  •  смотрим имена или id нужных нам элементов (в которые нужно вставить данные)


  •  тыкнуть на кнопку, которая имеет тип submit можно добавив к запросу ее имя (например, имеется две кнопки типа submit, их имена "yes" и "no". В запросе передаем query + "&yes", если нужно yes)


задача сразу же перестает быть тривиальной, как только ты упоминаешь о полной обработке js. Ты знаешь, что не все поисковые машины js обрабатывают, некоторые обрабатывают не полностью. Я как-то писал дорген, так для гугла у меня было около 4-5 js-методов обхода гугловского определения редиректа.

тем более задача перестает быть даже понятной, как только ты упоминаешь 
Цитата(DominiK @  1.4.2009,  23:54 Найти цитируемый пост)
полная обработка js, и пр

что такое и пр.?

ты, кстати, почему сюда запостил? Тебе так критично, чтобы это было на C/C++? Народ уже много наработок имеет в данной теме на php, perl, python и других скриптовых языках.

Брат, я же написал что мне не подходит обмен заголовками smile
То что ты написал - равносильно тому что можно делать курлом. Меня это не устраивает.
P.S - сокс = SOCKS5, причем тут сокеты?smile

Это сообщение отредактировал(а) DominiK - 2.4.2009, 16:52
PM MAIL   Вверх
InvalidProperty
Дата 2.4.2009, 17:03 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 356
Регистрация: 31.10.2007
Где: Россия, Казань

Репутация: нет
Всего: 9



эм... тогда я не совсем понимаю, что ты хочешь, что бы было за рамками описанного? Кроме полной обработки js, конечно.
Про соксы я сказал только лишь потому, что у меня возник вопрос, зачем тебе, собсно, туннель понадобился, почему нельзя просто на сокетах, хотя, судя по всему, ты пишешь что-то типа модуля проспамки и тогда становится понятно, зачем тебе соксы и зачем тебе полная обработка js.
Напиши, что ты делаешь, чтобы можно было помочь smile


--------------------
dd if=$0 of=$0 bs=1 count=76 seek=`du -b $0 | awk {'print $1'}` 2>/dev/null
dd if=$0 of=$0 bs=1 count=67 conv=notrunc oflag=append 2>/dev/null
echo $0 >> $0
PM MAIL ICQ Jabber   Вверх
MAKCim
Дата 3.4.2009, 08:32 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Воін дZэна
****


Профиль
Группа: Экс. модератор
Сообщений: 5644
Регистрация: 10.12.2005
Где: Менск, РБ

Репутация: 6
Всего: 207



DominiK
есть libjs либа для эмуляции JS
в купе с cURL самое то
ну и плюс cURL имеет поддержку SOCKS5

из движков есть WebKit, Gecko
подробнее в гугле


--------------------
Ах, у елі, ах, у ёлкі, ах, у елі злыя волкі ©

PM MAIL   Вверх
DominiK
Дата 3.4.2009, 14:49 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 77
Регистрация: 11.3.2007
Где: Россия, Омск

Репутация: нет
Всего: нет



Цитата(MAKCim @ 3.4.2009,  08:32)
DominiK
есть libjs либа для эмуляции JS
в купе с cURL самое то
ну и плюс cURL имеет поддержку SOCKS5

из движков есть WebKit, Gecko
подробнее в гугле

Вот, то что надо, спасибо буду копать в эту сторону. Я еще нашел вариант со SpiderMonkey, хочу библиотеку свою написать в купе с курлом, но это чувствую через Ж, есть варианты попроще. Будем смотреть. 
Стукну тебе в PM за номером ICQ smile 
PM MAIL   Вверх
Artemon
Дата 3.4.2009, 16:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


а ты мне нравишься
***


Профиль
Группа: Завсегдатай
Сообщений: 1771
Регистрация: 24.2.2004
Где: Челябинск

Репутация: 1
Всего: 20



Вам еще предстоит столкнуться с очень многими подводными камнями, которые вам готовит данная тема, больше года занимаюсь подобными проблемами и есть довольно интересные результаты.


--------------------
Контроль топлива на топливозаправщиках, мониторинг автотранспорта, расчет зарплаты водителей www.rscat.ru
PM MAIL   Вверх
DominiK
Дата 4.4.2009, 00:29 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 77
Регистрация: 11.3.2007
Где: Россия, Омск

Репутация: нет
Всего: нет



Artemon
Интересно было бы поговорить с тобой на эту тему! Стукну тоже в ПМ за номером icq. А тема остается открытой, хочу еще мнения выслушать. Спасибо! 
PM MAIL   Вверх
DominiK
Дата 22.4.2009, 23:54 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 77
Регистрация: 11.3.2007
Где: Россия, Омск

Репутация: нет
Всего: нет



вообщем то тема еще актуальна, у кого еще какие мысли по этому поводу? 
PM MAIL   Вверх
Vaulter
Дата 23.4.2009, 02:00 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник Клуба
Сообщений: 1724
Регистрация: 30.12.2002
Где: бункер

Репутация: нет
Всего: 22



копни сюда
http://www.google.ru/search?q=SELENIUM

однако, подозреваю в тебе спамера smile


--------------------
PM MAIL WWW ICQ   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | C/C++: Сети | Следующая тема »


 




[ Время генерации скрипта: 0.0806 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.