Возникла такая необходимость как написание многопоточной программы на java, каждый из потоков которой мог бы оперировать стандартными средствами среднего браузера. Наиболее важные - это пропись прокси-серверов, работоспособность javascript, каждый поток должен уметь это делать. Для c++ такая возможность может быть доступна при использовании webkit. Для явы webkit не подойдёт по причине обязательного наличия mac os. Знает ли кто-нибудь удобные фреймворки под java для имитации браузеров с обязательной поддержкой многопоточности?  

А что тебе от него вообще нужно? Я так понимаю раз нужен JS, то рендеринг нужен? Поддержка Flash, Silverlight и т.п. нужна?

Рендеринг - не знаю что это. Поддержка js конечно нужна, Flash, Silverlight и т.п. - нет. Самое главное, чтобы можно было ставить движок на много потоков. Пока нашёл что-то приближённое это JRex и работа с браузером системы посредством JDesktop. Но ни то, ни другое пока не проверял на предмет поддержки многопоточности и доступности базовых св-св браузера. Повторюсь: это пропись прокси-серверов (их основных типов), от имени которых будет "вход на сайты". В инфе про swt webkit  для java это не увидел, надо будет проверять руками, а так, на первый взгляд слишком мало у него возможностей. Вобщем хотелось бы услышать мнения от тех, кто сталкивался с подобной проблемой, чтобы не делать лишнего. Пока остановился на Qt Jambi. 

Это сообщение отредактировал(а) serghd - 2.11.2009, 18:26

Настораживает формулировка... Браузер решение из области UI. А многопоточность - внутренняя архитектура приложения. Как говорится отношения к друг-другу практически не имеют.
Тут либо вопрос - как реализовать браузер на Java или же как сделать многопоточное приложение из однопоточного. Вы как-то определитесь чего вы все таки хотите.  

каждый из потоков которой мог бы оперировать стандартными средствами среднего браузера...

Это сообщение отредактировал(а) serghd - 2.11.2009, 20:09

Если вам нужно просто в тыщу потоков постить формы через прокси, и получать и обрабатывать контент, то для этой цели хорошо подойдет  Apache HTTP Client. Очень удобная либа с подробной документацией и примерами. Вроде в ней сразу встроен способ многопоточной работы, но я поленился разбираться. Просто создал пул потоков. Каждый поток создает экземпляр HTTPClient, постит форму и парсит результат.
С помощью этой либы я писал примитивный подбиральщик паролей к формам через прокси, прогу для автоматического поиска и проверки прокси-серверов, агрегатор объявлений с сайтов. И все это работало в 50-500 потоков и сложностей реализации нет никаких.
Если вам нужно что-то другое, то пожалуйста изложите подробно, что конкретно и зачем вам нужно.

Нет, вроде бы не совсем это. Мне надо чтобы при загрузке страниц сайта срабатывал js, html - для прорисовки (соответственно и учёта ими "реальной" посещаемости) счётчиков, партнёрок и т.п. Т.е. надо именно загружать контент сайтов через прокси, а не отправлять определённые заголовки и поля для брута. 

Это сообщение отредактировал(а) serghd - 4.11.2009, 01:01

Ну в таком деле я вам плохой помощник, т.к. вообще не представляю, как накручиваются счетчики и как они работают. Но загружать и исполнять весь контент как-то примитивно. Лучше все-таки разобраться, как на самом деле работают эти счетчики...

как работают они я знаю (т.к. 4 года до этого писал сайты и cms). Если яваскрипт - то после прорисовки яваскриптом определённого url, на сайт загружается, в большинстве случаев, картинка. В момент её отдачи сервером (т.е. когда происходит выдача изображения), сам сервер может считать нужную ему информацию, например ip клиента, и произвести действие  - напр. +1 к счётчику хостов, если это уникальный ip за сегодня для этого сайта. Т.е. в этом случае движок js обязателен. Есть аналог такой программы на delphi (писала сторонняя контора), но там каждый "посетитель" - отдельный процесс операционки. Даже очень хороший cpu не в состоянии потянуть более 150-ти. Вот это действительно примитивно... Я в java новичок и понимаю что такая прога для начала, наверное, слишком крута для меня, но всё же. По крайней мере подмену ip уже организовал, осталось дело за многопоточностью. 

Это сообщение отредактировал(а) serghd - 4.11.2009, 01:33

Ну получается, что контент страницы тебе как бы и не нужен. Тебе нужно просто загрузить нужную картинку, подставив  в HTTPClient прокси, куки и что бы он определялся на сервере как какой-то конкретный браузер. Если нужно более-менее универсально, то можно сначала грузить страницу HTTPClient-ом, потом выдрать из нее все ссылки и пройти клиентом по этим ссылкам.

Добавлено через 6 минут и 4 секунды

Ну если грузить контент, отрисовывать HTML и исполнять JS для каждого потока, то тут никакого железа не хватит. Процессы операционки тажелее, чем потоки, и ими сложнее управлять, но переход на потоки мало что изменит, если полностью эмулиовать браузер. 

Получается так, но есть одна проблема. Каждый счётчик может быть сформирован разным кодом яваскрипта. В таком случае можно конечно грузить только яваскрипт, но там много других моментов, например когда нужно организовать в программе "переход по ссылкам" партнёрки и т.п., для этого опять же нужен html страницы (если конечно ссылки не сгенерены тем же js). То есть проще фоново загрузить всю страницу, кроме НЕяваскриптовых картинок (в целях экономии инет канала) и не париться. Впрочем HTTPClient с этим наверно тоже справится.

Это сообщение отредактировал(а) serghd - 4.11.2009, 01:49

В общем, я бы делал так
задаем в конфиге для проги шаблоны всего, по чему нужно переходить: шаблоны урлов партнерок и счетчиков.
грузим HTML и JS, ищем в нем похожие урлы и переходим по ним. Таким образом и траф экономится и все что нужно обходится.
Каждый "клиент" - отдельный класс-поток.
Создаем пул потоков, устанавливаем кол-во параллельно работающих потокв.
Создаем дофига экземпляров, пихаем их в пулл потоков. 
В основном потоке в цикле со слипом следим за пулом и подбрасываем туда новые потоки, по мере его освобождения.
Проблема будет если  урл генериться в JS. как это воспроизвести - не знаю. 

Слишком примитивно, JS может вычислять URL (конкатенацией или еще как). А уж если код использует Flash для счетчиков, то вообще...


В принципе все счетчики работают по HTTP, и значит если подробно изучить работу страницы, можно просто сделать ряд HTTP запросов и все будет ОК. Но при изменениях в странице это все потребует переделки программы.
Либо если писать универсальную вещь, то нужно использовать готовый браузерный движок, типа: WebKit for SWT.

Если это его все настройки, то они очень скудны, по крайней мере в сравнении с qt jambi. Даже подстановку проксей не сделать.

А HTTPClient сможет загружать сайты со всей их прорисовкой графики, использованием js и всего прочего не отображая их визуально? Средства для работы с полученным контентом имеются (например поиск текста, обновление страницы и т.п.)?