|
Модераторы: LSD, AntonSaburov |
|
CSharpProgrammer |
|
|||
Новичок Профиль Группа: Участник Сообщений: 44 Регистрация: 6.7.2006 Репутация: нет Всего: нет |
Задача следующая: дан список уникальных доменов, нужно спарсить индексные страницы для всех доменов из списка. На данный момент на моем железе (Intel i5 - 3210M 3.1 GHz CPU, 6GB RAM) средняя скорость скорость не подымается выше 20 доменов в секунду.
Код был взят из примера https://svn.apache.org/repos/asf/httpcompon...HttpClient.java Реально ли добиться скорости 200 доменов в секунду, и если да, то как оптимизировать код? |
|||
|
||||
Stolzen |
|
|||
Эксперт Профиль Группа: Завсегдатай Сообщений: 1041 Регистрация: 17.10.2005 Репутация: нет Всего: 48 |
Сделайте 10 потоков и посмотрите, будет ли лучше. Прирост должен быть, но, возможно, не в 10 раз
Это сообщение отредактировал(а) Stolzen - 19.5.2014, 17:35 |
|||
|
||||
CSharpProgrammer |
|
||||
Новичок Профиль Группа: Участник Сообщений: 44 Регистрация: 6.7.2006 Репутация: нет Всего: нет |
Оптимальное кол-во потоков получается - 50 (примерно 20 доменов в секунду), увеличение кол-ва потоков приводит к частому выпадению ошибок и не приводит к увеличению скорости.
Как же все таки добиться скорости 200 доменов в секунду и более? |
||||
|
|||||
Правила форума "Java" | |
|
Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux. |
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) | |
0 Пользователей: | |
« Предыдущая тема | Java: Работа с сетью | Следующая тема » |
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |