Вот пришлось создать грамотное многопоточное приложение. Почти весь день убил, неоднократно пытался найти что-то с форума что могло бы помочь, в итоге собрал по кусочкам, ИМХО не было ни одной темы, которая давала ответы на все вопросы поставленные мною для решения задачи.
Сама задача заключалась в том, что есть список(от маленького до очень большого) данных, которые обрабатываются медленно, при этом нам нужно чтоб каждый дочерный процесс обрабатывал каждый раз новые данные из списка, т.е. чтоб не произошло ситуации, что два дочерних потока обрабатывают одни и теже данные. И под конец, количество дочерних потоков должно быть всегда не более чем заранее заданного числа, которое может быть меньше чем количество обрабатываемых данных. И еще не надо забывать про проблему с "зомби", о которой писалось почти в каждой мною просмотренной теме.
Вот в итоге цельный небольшой пример, для тех кто в будущем будут сталкиваться с подобными задачами. Чтоб не пришлось как и мне искать и собирать все по кускам 
| Код |
#!/usr/bin/perl
use strict;
use POSIX 'WNOHANG';
#начальное значение количества потоков
my $forks = 0;
#максимальное значение количества потоков
my $maxForks = 2;
#логируем на выходе для более или менее наглядного представления как все отработало
open (LOG, ">log");
#переменная - индекс обрабатываемого данного из списка
my $i = -1;
#цикл пока не обработаются все данные из списка, допустим их 6, далее будет понятно почему :)
while ($i < 7) {
#проверяем количество уже работающих дочерних процессов
if ($forks <= $maxForks) {
#для каждого нового дочернего процесса, индекс очередных данных из списка
$i++;
# увеличиваем индекс запущенных дочерних процессов
$forks++;
#кусок кода для дочернего процесса
if (fork == 0) {
#получили id родительского процесса, у меня иногда почему-то возвращает 1, так и не понял почему
my $ppid = getppid();
#процедура, в которую передаются данные уникальные для каждого дочернего процесса,
#и в которой эти данные соотв обрабатываются
MyProc("child", $ppid, $i, $forks);
#дочерний процесс стал "зомби"
exit;
}
#если есть зомби, окончательно его киляем
$SIG{CHLD} = sub {
while ( ( my $kid = waitpid( -1, WNOHANG ) ) > 0 ) {
warn "Reaped child with PID $kid\n";
#индекс работающих дочерних процессов уменьшаем
$forks--;
}
};
}
#аналогично, вообще на всякий случай пихнул и туда и сюда, наверху если дочерний процесс закончил работу
#если мы еще не набрали количество максимальных дочерних процессов
#здесь если у нас уже работают максимальное количество дочерних процессов, но еще не все данные обработаны
$SIG{CHLD} = sub {
while ( ( my $kid = waitpid( -1, WNOHANG ) ) > 0 ) {
warn "Reaped child with PID $kid\n";
$forks--;
}
};
}
close (LOG);
sub MyProc {
my ($value, $ppid, $i, $forks) = @_;
#маленькая проверка на многопоточность, если дочерние процессы действительно работают параллельно, то
#строка где $i=3 будет после строки, где $i = 7
if ($i == 3) {
sleep(5);
}
#запишем в лог, данные от каждого дочернего процесса
#если повезет, то иногда бывает, что строка, допустим где $i = 5, запишется раньше, чем строка где $i = 4 -
#что тоже подтверждает что процессы работают параллельно, но вообще как правило, данные будут писаться в лог
#по возрастанию индекса $i
print LOG ("$value - $ppid - $i - $forks\n");
#можно убрать все что выше и писать ваш код, конечно не забыв передать ему нужные индексы, данные и т.п.
}
|
с индексами можно повертеть, покрутить как кому угодно. Если кто-то найдет неточность или ошибку, буду рад послушать, так как сам использую данный алгоритм |
