Добрый день!

У меня есть директория с несколькими гигабайтами файлов *.txt.
Также есть 20 скриптов pl, которые выглядят примерно следующим образом:



Т.е. каждый скрипт открывает каждый txt на чтение, делает какие-то проверки и пишет потом в свой лог.
Сейчас я запускаю скрипты поочередно: отработает один, запущу другой и т.д. Но таким образом используется только одно ядро из 4. Не будет ли проблем с дескрипторами файлов, если я буду запускать по 4 скрипта одновременно (и, если один из них отработает, то сразу запускать следующий из очереди)? 


p.s. для многих скриптов нагрузка на процессор превышает нагрузку на винт, то есть винт работает со скоростью 150 Мб в секунду, а процессор позволяет обрабатывать только 5-10 Мб данных в секунду из-за сложных функций проверок. Поэтому хорошо бы использовать сразу все ядра. 


Это сообщение отредактировал(а) Suppir - 23.6.2011, 17:08

будут.
perldoc -f flock

Думал, может быть так сделать:





Но так получается, что эти несколько гигабайт txt будут копироваться 20 раз (по количеству скриптов). Что может только замедлить работу.

Это сообщение отредактировал(а) Suppir - 23.6.2011, 17:08

Если скрипты читают из этих файлов, но не пишут в них, то проблем не будет.

Я сейчас попробовал несколько раз запустить - по очереди и сразу несколько сразу. Результат одинаковый, то есть проблем не возникает, по-видимому.

Если открываете только на чтение, то проблем не будет. Но нагрузка на диск будет большой. И у вас в коде ошибка - close надо вызывать внутри первого цикла.

да, вижу, я при примера быстро написал - опечатался