VPF::Многопоточная обработка нескольких файлов

Suppir

Дата 28.6.2016, 21:08 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 588
Регистрация: 20.4.2009

Репутация: нет
Всего: нет

Добрый день!

Есть массив файлов, которые нужно обработать в многопоточном режиме.

Пишу в одном потоке:

Код


open(OU, ">$0.log");
my @files:shared = glob("*.txt");
my $threads = @files;

for my $file (@files){
    print "$file\n";
    process($file);
}

sub process
{
    open(IN, $_[0]);
    while(<IN>){
        //длительные операции
    }
}

Время обработки файлов - 11 секунд.

Пробую то же самое сделать в многопотоке:

Код


open(OU, ">$0.log");
my @files:shared = glob("*.txt");
my $threads = @files;

my @threads;
for (1 .. $threads) {
    push @threads, threads->new(
        sub {
            lock(@files);
            my $file = shift(@files);
            print "$file\n";
            process($file);
        }
    );
}

$_->join for (@threads);

sub process
{
    open(IN, $_[0]);
    while(<IN>){
        //длительные операции
    }
}

Время исполнения то же самое - 11 секунд.

Подскажите, что я сделал не так в многопоточном режиме?

alezzz

Дата 29.6.2016, 20:28 (ссылка)

(нет голосов)

Загрузка ...

сплю...

Профиль
Группа: Участник
Сообщений: 499
Регистрация: 17.8.2009

Репутация: 1
Всего: 14

Если правильно понял описание threads, то join останавливает основную программу и ждет завершения потока.
Я потоки отсоединяю detach-ем и кидаю в них задания через shared.

Suppir

Дата 29.6.2016, 20:37 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 588
Регистрация: 20.4.2009

Репутация: нет
Всего: нет

Вот такой код заработал:

Код


open(OU, ">$0.log");
my @files:shared = glob("*.txt");
my $threads = @files;
my @threads;
for (1 .. $threads) {
    push @threads, threads->new(
        sub {
            my $file;
            {
                lock(@files);
                $file = shift(@files);
            }
            print "$file\n";
            process($file);
        }
    );
}
$_->join for (@threads);
sub process
{
    open(IN, $_[0]);
    while(<IN>){
        //длительные операции
    }
}

Добавлено через 4 минуты и 25 секунд
То есть, lock(@files) нужно было вынести из скобок. Иначе зависало.

1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Perl: Общие вопросы \| Следующая тема »