Здравствуйте.
Такая вот задачка: есть много потоков (1-3000 а может даже и больше из плодится). Каждый делает свою работу - обрабатывание около 100 мегабайт страниц html и запись данных в mysql.

Создаю я их через делегаты и соответственно вызываю методом BeginInvoke()  (пишу на C# .net 3.5)

Ну вот наплодил я 3000 потоков, главная программа всю свою задачу выполнила и хочет закрываться.
От того чтоб закрыться прежде времени ее отделяет только Console.ReadLine(). 

Хоть это и самое ресурсощадящее решение, оно не самое удобное так как понять что все 3000 потоков закрылись тяжело.

пробовал сохранять от каждого BeginInvoke() экземпляры класса IAsyncResult, а потом после вызова всех детищь, их в цикле остонавливать через EndInvoke() - но тогда весь процес дико тормозит (не машина тормозит, а процес замедляется и программа работает буд-то в однопоточном режиме)

Кто какие способы использовал и может поделится опытом?

RYB, при окончании работы потока должно происходить соответствующее событие, на которое вызывающий должен подписаться...

Partizan, Спасибо за ответ.
А можно поподробнее: какое именно событие и как подписаться на его поимку?

Добавлено через 7 минут и 45 секунд
Я кажется понял о чем ты говориш: при вызове BeginInvoke() я указываю CallBack метод, котрый будет вызван по завершению работы потока. Проблема в том что тогда прийдется в так-сказать main() писать бесконечный цикл для проверки условия совпадения числа потоков запущеных и отработавших.
Но это будет хавать цп.

А есть ли способ завершить главный поток вторичным?

пускай по таймеру проверяется число запущенных и остановленных и всё...и цп не будет загружен выполнением бесконечного цикла...

Как вариант использовать можно. Даже и без таймера


Спасибо за идею, Partizan.

Но всетаки интересно: если еще решение поэлегантнее?

Не понимаю... почему нельзя формирование сигнала на завершение работы приложения возложить именно на CallBack-функцию?

В самом начале работы заводим счетчик int counter, запихиваем туда единичку. Инкрементируем, запуская очередной поток. Callback, кроме всего прочего, декрементирует счетчик. Когда все функции основной программы выполнены, вызываем сами эту callback, после чего запускаем просто цикл валяния дурака ( while (counter>0) {Thread.Sleep(1000);} подойдет).
Если на момент ручного запуска callback потоков больше нет, счетчик обнулится. Если есть - он обнулится при завершении последнего потока. Вот по этому нулю цикл сдвинется и работа приложения завершится.

Я извиняюсь, если что... в .Net не сильно пока еще разбираюсь, но вроде как для таких целей можно использовать спец. объекты синхронизации - семафоры.
Не знаю, можно их использовать под .Net...

ЗЫЖ В Делфи точно можно  Вот статья, хотя она и про делфи, но вроде это все WinAPI... так что наверно без разницы.

Это сообщение отредактировал(а) Felan - 13.8.2008, 07:33

Felan, в данном случае не подходит....

Почему нельзя, можно и нужно - это я и отметил как решение.
Но из опыта: на одну задачю есть масса решений. Поэтому для того чтобы прога работала оптимально и для саморазвития мне интересно какие есть еще варианты.

Но видать проще решине врятли найдется.

Идея с симофорами (если я ее правильно понял) в данной ситуации не подходит, так как для каждого потока (а их тут куча) необходимо вызвать метод EndInvoke()  - Аналог WaitForSingleObject() что и было описано выше.

То, что семафоры (а равно и мутексы) не подходят - это очевидно. Их надо опрашивать, а поллинг никогда не относился к красивым решениям, если есть альтернатива.

Возможно я не так понял твой первый пост... Если тебе надо самому завершить все потоки, когда твой основной поток отработал, то да... А если тебе надо дождаться когда они все отработают сами, то нет.

Во втором случае логика такая:

Ты создаешь семафор. Каждый дополнительный поток при старте его захватывает - у него увеличивается счетчик, а при завершении освобождает - счетчик уменьшается (такова суть семафора). В основном потоке ты просто ждешь пока семафор освободится полностью - его счетчик станет равным 0 (все захватившие его потоки завершились).
Функция ожидания не будет кушать такты процессора.

Смею утверждать, что семафоры именно для ожидания завершения многих потоков и предназначены...

Felan, семафоры предназначены для управления доступом к общим ресурсам. Если надо будет отслеживать завершение каждого отдельного потока, идея с семафорами сразу отпадает.

Тогда я не видел нечего похожего в .net.
Есть только другие варианты реализации которые несут похожую функциональность:
снова тотже CallBack

Блин. Точно... они же не в ту сторону считают :(


Это сообщение отредактировал(а) Felan - 13.8.2008, 13:26

А если что-нибудь подобное сделать? Вроде не должно тормозить... Понимаю, что сделано не совсем так, как изначально делал автор, но просто для иллюстрации идеи может сойдет?