Модераторы: LSD, AntonSaburov
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Скорость краулинга на среднем железе 
:(
    Опции темы
CSharpProgrammer
Дата 19.5.2014, 14:26 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 44
Регистрация: 6.7.2006

Репутация: нет
Всего: нет



Задача следующая: дан список уникальных доменов, нужно спарсить индексные страницы для всех доменов из списка. На данный момент на моем железе (Intel i5 - 3210M 3.1 GHz CPU, 6GB RAM) средняя скорость скорость не подымается выше 20 доменов в секунду.

Код был взят из примера https://svn.apache.org/repos/asf/httpcompon...HttpClient.java

Реально ли добиться скорости 200 доменов в секунду, и если да, то как оптимизировать код?
PM MAIL   Вверх
Stolzen
Дата 19.5.2014, 17:35 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1041
Регистрация: 17.10.2005

Репутация: нет
Всего: 48



Сделайте 10 потоков и посмотрите, будет ли лучше. Прирост должен быть, но, возможно, не в 10 раз

Это сообщение отредактировал(а) Stolzen - 19.5.2014, 17:35


--------------------
datatalks.ru - анализ данных, статистика, машинное обучение
PM MAIL WWW   Вверх
CSharpProgrammer
Дата 19.5.2014, 19:23 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 44
Регистрация: 6.7.2006

Репутация: нет
Всего: нет



Цитата(Stolzen @ 19.5.2014,  17:35)
Сделайте 10 потоков и посмотрите, будет ли лучше. Прирост должен быть, но, возможно, не в 10 раз

Оптимальное кол-во потоков получается - 50 (примерно 20 доменов в секунду), увеличение кол-ва потоков приводит к частому выпадению ошибок и не приводит к увеличению скорости. 

Код

java.net.SocketException: Socket Closed
java.net.SocketException: Socket operation on nonsocket: connect


Как же все таки добиться скорости 200 доменов в секунду и более?
PM MAIL   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Java"
LSD   AntonSaburov
powerOn   tux
  • Прежде, чем задать вопрос, прочтите это!
  • Книги по Java собираются здесь.
  • Документация и ресурсы по Java находятся здесь.
  • Используйте теги [code=java][/code] для подсветки кода. Используйтe чекбокс "транслит", если у Вас нет русских шрифтов.
  • Помечайте свой вопрос как решённый, если на него получен ответ. Ссылка "Пометить как решённый" находится над первым постом.
  • Действия модераторов можно обсудить здесь.
  • FAQ раздела лежит здесь.

Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Java: Работа с сетью | Следующая тема »


 




[ Время генерации скрипта: 0.1000 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.