Вообщем, при попытке испытать на максимуме грабер проксей обнаружил такую ошибку "Access violation ..."
Причем на 500 потоках все работает на Ура, но если выставить кол-во потоков еще больше (приблизительно > 800), то выскакивает указанная выше ошибка.

С чем это может быть связано?
Спасибо!   

Access violation - попытка доступа к несуществующим данным. Для более полного ответа дай больше данных

По токому вопросу можно точно сказать только одно: "Нарушение доступа ..."

Подробней давай... что за потоки, что делают. Код тут нужен.

800 потоков при работе с сетью???? весело... показывай код - мне интересно даже стало, как это вообще может нормально работать...

В системе максимальное число потоков ~2000, при дефолтном размере стека в 1 мб, при указании стека вручную при создании потока всё зависит от этой величины. Как удалось убедиться на практике, в пользовательской системе(т.е. не server) больше 1500 потоков нормально сосуществовать не могут. Памяти у тебя сколько? 

PS А зачем нужны 800 потоков для твоей задачи? 

насчет кода даже не знаю какой участок предоставить...
такое кол-во потоков используется для чекинга работоспособности найденых проксей, т.к. их за 100 тысяч, то нужно максимально возможное кол-во потоков.


а почемы бы и нет? винда пропатчена на кол-во полуоткрытых соединений.

Работает сие на сервере с памятью в 1гиг всего, но по статистике память и процессор загружены лишь на половину.




вот и я о том же...как при 500 потоках нет такой ошибки, а при выше 800 уже проскакивает и то не сразу?

Так может у тебя разные потоки работают с одинаковыми данными.
Один поток удалил переменную, а другой пытается к ней обратиться - вот и ошибка.

Может в этом проблемка...

P.s.: Попробуй уменьшить круг подозреваемых, если это возможно.

Это сообщение отредактировал(а) ALeXandrK - 22.9.2007, 11:38

Да я и не говорю нет. Смотри - у тебя один список проксей и 800 потоков поочереди берут каждый пункт из списка и проверяют. Представим ситуацию - два потока взяли две последние строки. Первый поток проверил и оказалось, что прокся мертвая. Данная строка удаляется из списка, верно? Если да - вот тебе и ошибка, т.к. второй поток будет пытаться удалить строку, которой уже нет в списке...

мда... имхо хватило бы и 50 потоков при правильной реализации...
а без кода тут нечего и советовать... 
если есть AV, значит кто-то хочет пользовать что-то этому не пренадлежащее

MetalFan, не всегда, иногда отсутствующее. Вариантов много и гадать можно много, но лучше предположить что ошибка в 17й строке.

в результате этого обнаружил, что ошибка появляется в момент создания нового потока 

в чем может причина ошибки в этом случае?



и при какой же такой реализации  можно проверить более 100 тысяч прокси в 50 и 500 потоков с одинаковой скоростью?

Это сообщение отредактировал(а) DmitryHT - 24.9.2007, 10:19

поставил приоритет на tplower стала появляться новая ошибка:


кто-нибукдь в курсе из-за чего это?




up:
потом выставил на самый низкий tpIdle и опять получил Access Violation   

Это сообщение отредактировал(а) DmitryHT - 24.9.2007, 11:03

DmitryHT, нужно учитывать реальные возможности сетевухи / модема. Они железные, а не резиновые   . Если представить, что среднее время пинга около 100мс, размер пакета 1,5 кб, то теоретически на 800 потоках можно пропинговать 8000 серверов в секунду. 8000 * 1,5 кб ~ 12 Мбайт/с, а с учетом паузы между ними и неравномерности прихода, то как минимум канал нужен как минимум 25 Мбайт/с, т.е. 200 Мбит / с, а то и больше ведь за это время нужно сделать 2е операции. 1 передать 1 получить.
  Вот и получается что потоков много, но они простаивают.

так разве в случае простоя должна происходить ошибка?
п.с. канал 100 Мбит/с

  Канал 100Мбит это сеть или интернет? Обычная сетевуха на 100Мбит пропускает реально около 75Мбит. Это к тому что неплохо бы расчитать сколько все таки трафика уходит за минуту при непрерывном пинге и сколько за минуту серверов проверено, отсюда можно посчитать сколько трафа реально уходит на пинг одного сервера т.е. посчитать сколько теоретически можно пропинговать за это время и поставить реальное число потоков. 


Может и в том что пропатчена винда, ведь ограничения не зря стоят...