задача:
есть файл очень большой
с каждой строкой надо проделать сложную операцию...
так что надо делать многопоточно
но проблемка как открыть этот файл(не весь сразу(оперативы на серве оч мало))
тоесть надо построчно типа
while($line=<F1>)
разбивать на 10 файлов не удобно((
я пробовал так:

файл test1:


я думал что каждый поток выведет свою строку...
но вывод оказался таким
$ perl 1.pl

вопрос:
как сделать чтоб каждый поток работал с определенными строками файла
тоесть
1поток 0-500
2поток 500-1000
и тд..
надо вытаскивать по строчно(не грязу сразу весь файл)
помогите плиз))

Уважаемый xXvladXx, не могли бы Вы пояснить, почему многопоточная обработка Вашего файла будет быстрее? 

короче есть 200+к доменов надо пропарсить хуизы каждого...
в 1 поток это будет делаться неделю...

1 менеджер + N клиентов

xXvladXx, если файл, о котором идет речь, содержит имена доменов, а "сложная операция" включает получение whois-информации, то ускорить можно лишь процедуру получения whois-информации, т.к. там есть ожидания ответов whois-сервера. Вся остальная обработка при распараллеливании на одном процессоре, по моему мнению, не ускорится.
Для многопоточного получения ответов от whois-сервера необходимо использовать мультиплексирование неблокирующих запросов.

так, у меня интернет не 1гигабит и пинг до хуиз серверов не 1мс
в 10 или даже в 100 потоков будет по любому быстрее
суть даже щас не в том как лучше сделать, а как правильно читать из файла 
например с 500 строки до 1000 не загружая весь файл...

Перейти к 500 строке не зная это смещение в байтах невозможно (только последовательным чтением с начала файла).

Добавлено @ 19:22
Если очень хочется сделать в несколько потоков, используйте вариант, предложенный arto:
создайте пул потоков-обработчиков;
читайте строки из файла в основном потоке и передавайте их для обработки свободным потокам-обработчикам. 

Это сообщение отредактировал(а) ginnie - 3.6.2008, 19:23

ну а как например сделать то что я указал в примере правильно?
ну чтоб потоки когда освобождаются будут брать следущую строку(опятьже не открывая весь файл)

Что бы читать с 500-ой строки надо знать смещение в файле с которого начинается 500-ая строка. Если вы заранее это значение нигде не сохранили, то вам придется просматривать файл от начала до конца в ее поисках. Или сделать так чтобы записи в файле были фиксированной длины. И только одна запись на одной строке. Тогда поиск смещение будет (500 - 1) * на длину записи.

Добавлю к сообщению tolkien: если записи не фиксированной длины, то можно сначала последовательно прочитать (не через <F1>, а например командой read) весь файл и сохранить в массиве соответствие номеров строк смещению. Впоследствии командой seek Вы сможете быстро перемещаться по файлу и читать нужные Вам строки командой read (зная сколько байт надо прочитать как разницу между смещениями двух соседних строк) в разных потоках. 

И еще, если команда whois работает долго, а повторов запрашиваемых значений много, то имеет смысл запоминать в хеш полученную информацию, чтобы повторно ее не запрашивать (defined $h{$domain_name}). Правда нужно сделать этот хеш единым для всех потоков. Я бы для этого использовал базу данных.

А если разбить файл ( команда split ) на несколько файлов и для каждого нового файла по потоку или fork() ?

Так, давай для начала все же разберемся с открытием файлов. Считывать что-то из файла не открывая его целиком -   . А то, что считывать построчно это уже совсем другое дело, дескриптор-то для файла уже открыт. В перле есть такие функции tell и seek позволяют запоминать текущую позицию в файле и сразу перемещаться на эту позицию. Т.е. ты считываешь строку, запоминаешь позицию на которой она закончилась, для следующего - переходишь на эту позицию и считываешь следующую строку. Я думаю суть ясна 

Имхо в этой задачи геморно использовать tell и seek, т.k. они работаю с байтами а человуку нужна построчно и сюда еще нужна прикрутить потоки и файл между потоками как то поделить.

Можна еще получить кол-во строк в файле и для каждого потока отвести диапозон строк от 1 скажем до 10 и тд, эта способ альтернатива разбитию на мелкие фалы но он менее эффективен, т.k. тут будет использоваться массив.

ps: Я не понимаю почему на 10 файлов автору не удобна, после работы взять и удалить их, имхо это просто и достаточно эффективно. Я у себя ранше так делал для парсинга логов, но потом я начал использовать tell и seek, но при этом я не использовал многопоточность, мультиплексорность и многопроцессность

Отталкиваясь от небольшого ресурса памяти - запоминать позиции менее требовательно к памяти, нежели все остальное.

Есть переменная $., есть Tie::File, есть и другие - это уже обсуждали на форуме, как открыть файл, на серверах с малыми ресурсами по памяти.
Если нужно с 500 по 1000, то можно линейным чтением, использу переменную $. .

Это сообщение отредактировал(а) nitr - 4.6.2008, 12:00