Всем здрасти.
У меня тут такое дело..вообщем думаю на программу нацепить потоки, т.к. в ней присутствует скачка страниц из интернета.
Задача такая, у друга есть хостинг (~1000 сайтов).
Имеются ссылки на все страницы этих сайтов, понятно откуда 

Друг попросил чтобы я написал прогу, которая будет проверять наличие определенных keyword на страницах этих сайтов.
Причем сделать все это нужно было под win!!!(как просто это делается в unix обсуждать не будем, а то ща полетят советы ;))). все сделал, работает, Но последовательно, береться одна ссылка, потом вторая и т.д.
Но вот подумал что если сделать все это дело через потоки то оно быстрее будет, при распараллеливании.
Вижу следующим образом, если не верно то поправьте, опыт работы с потоками >> 0 :
создаю поток - МОНИТОР, еоторый будет мониторить кол-во запущенных потоков и их состояния.
ну и сам поток который будет скачивать страницу и проверять keywords'ы и в зависимости от их нахождения добавлять инфу на форму.
В ту сторону думаю или нет?
Если мыслю правильно, то следующий вопрос, сколько надо загружить одновременно потоков для загрузки страниц?

Петровича читал.
Жду ваших комментариев и советов на мою тему.

может таки ограничиться поиском по файлам локально, раз уж друг - хостер?

я ж написал что надо под вынь, это делается на заказ для группы людей,кто им даст доступ к серваку.)))

можно конечно ограничиться тем что есть, но я уверен просто что с использованием потоков работать будет быстрее. Прошу помощи!

мониторить можно и из основного потока.

запускай потоки не все сразу, а через промежутки по 100-1000 мс(примерно), и поставь ограничение на их число что-нибудь около 64. хотя по хорошему, всякие задержки и количество надо считать в зависимости от времени выполнения этих потоков.

мониторить из основного потока - это имеется ввиду таймером?
а если мне надо еще к тому мониторить появление новых данных на проверку, как тогда быть?

почему нужно делать временные промежутки между запусками потоков?
я примерно сделал похожую конструкцию.
т.е. есть поток монитор, на форме есть переменная count_theards; которая отвечает за кол-во запущенных потоков. монитор запускает 50 потоков, и када какой нить поток завершают свою работу то монитор запускает новый поток и так все.
вроде ничего, но столкнулся с проблемой что иногда потоки завершают свою работу так и не выдав мне данные, хотя они есть!
значит происходит какой-то сбой...чтоли...пока не пойму в чем дело.

оно не "нужно", а "лучше". запуск потока - сравнительно тяжелая операция. а потом эти потоки у тебя "наперебой"(в смысле почти одновременно) начинают соединяться...

это просто ошибки. 

какие ошибки?
поиск приметивен
posex

ошибка в 17-ой строке

скорее всего при передаче результата работы из потока.

Это сообщение отредактировал(а) AlexeyShestchenko - 25.4.2008, 10:31

неужели нечем помочь, коллеги?

и что, ты ждешь телепатов, чтоб тебе что-то сказали по твоему "огрызку" кода?
что за Get? что за S, key, list?