Модераторы: gambit
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Ограничение сокетов в HttpWebRequest 
V
    Опции темы
rekcah
Дата 12.11.2008, 18:17 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 3
Регистрация: 25.6.2008

Репутация: нет
Всего: нет



Есть сервис который очень активно в много потоков лазиет по инету и и собирает странички с разных сайтов. Проблема в том что гдето есть невидимое ограничение неизвестного характера которое проявляется в том что увеличение числа потоков никак не влияет на суммарную скорость загрузки страниц, если на цифрах то в 100 потоков получается 100 страниц в минуту и с 500 потоками получается 100 страниц в минуту, собстно время получения респонза растет соответственно. Сервер мощный канал большой так что в ресурсах ограничения быть не должно, хотя точно быть уверенным ни в чем нельзя. Может кто сталкивался с подобным, буду благодарен за любые идеи что это может быть
PM MAIL   Вверх
Bogdan1024
Дата 12.11.2008, 20:23 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1436
Регистрация: 28.9.2005
Где: Киев

Репутация: 2
Всего: 13



Помнится мне, это что-то связано с пулом потоков и это где-то задаёццо. Посмотрю в книге (завтра) и скажу точно smile


--------------------
user posted image
PM MAIL   Вверх
rekcah
Дата 20.11.2008, 11:21 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 3
Регистрация: 25.6.2008

Репутация: нет
Всего: нет



Починил одной строчкой 
ServicePointManager.DefaultConnectionLimit = 1000;

Раньше ставилось после создания HttpWebRequest прям в его ServicePoint, проблема в том что .Net что то  там хитрит и на самом деле не всегда ставит или потом сам как то меняет, суть в том что пока проставишь все хедеры посты и прочее к моменту получения GetResponce лимит там стоял уже 2 по деволту, причем юзед тоже стояло 2 и он терпеливо ждал
PM MAIL   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Прежде чем создать тему, посмотрите сюда:
cully
mr.DUDA
Exception

Используйте теги [code=csharp][/code] для подсветки кода. Используйтe чекбокс "транслит" если у Вас нет русских шрифтов.

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, cully, mr.DUDA, Exception.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Распределённые приложения и сеть | Следующая тема »


 




[ Время генерации скрипта: 0.1973 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.