Я после определённых експериментов, в своё время, пришёл к использованию многопоточной управляемой (пуловой) архитектуре, т.к. однопоточная ограничивает производительность, а многопоточная не управляемая, при росте количества потоков, снижает производительность и в конечном итоге упирается в ограничения операционной системы (не масштабируется).
Пуловая выглядит след. образом:
В основном потоке запускается Мэнеджер пула потоков, который по требованию клиента, выделяет ему необход. ресурсы(потоки) Радует то, что программеру, не нужно реализовывать такую архитектуру. Её уже реализовали парни, в библиотеке Indy, за что им отдельное спасибо.
Поэтому, сразу отправляю тебя к исходному коду классов TIdThreadMgrPool, TIdThreadMgr, TIdThread.
Работать с ними проще простого!
Основное, что тебе надо сделать - создать наследника от ТIdThread и перекрыть метод Run.
Собственно в этом методе будет реализованна часть твоего алгоритма, например
с шага
| Цитата |
Загрузили страницу А
|
по
| Цитата |
Сравнили инфу А с Б
|
Далее, в целях оптимизации, можно еще распараллелить код, выполняя части шагов алгоритма в отдельных потоках. Но тут надо очень хорошо подумать, какие шаги алгоритма распараллеливать.
В основном потоке тебе надо будет реализовать процедуру планировщика. Что-то типа:
Держим список сайтов и последовательно обрабатываем, по максимуму загружая пул. Освободившиеся потоки, загружаем следующими по списку, необработанными ссылками.
В общих словах как-то так. |
