Доброго дня всем!

У меня возникла проблема, а так как я только учусь писать на Перл, то и загвоздка серезная для меня.

Вот суть задачи:
Есть большой файл, около 30МБ. Требуется найти и подсчитать в нем все строки.
К примеру, берем первую строку и ищем сколько дублей во всем файле, результат записываем в файл в виде:

строка;количество

Дале вторую строку и такие же операции,  и так до конца файла, при том я вот незнаю как по несколько раз не считать одну и ту же строку, ведь мы ее могли уже считать.

Помогите мне пожалуста, очень нужно!

Заранее спасибо!

Посмотри пока на этот код. Если не устроит, будем думать ( требуется много памяти и порядок строк произвольный будет).


Это сообщение отредактировал(а) amg - 14.12.2007, 17:07

У меня почему то ругается -
Global symbol "%h" requires explicit package name at search.pl line...

Добавлено через 2 минуты и 15 секунд
В принципе можно упростить задачу, сначало сделать еще один файл гдк будут только уникальные записи и уже от туда скчитывать кей а в первичном файле вести поиск.

Это из-за use strict; Добавь в начале my %h;


Это сообщение отредактировал(а) amg - 19.12.2007, 10:44

Если строки достаточно длинные (10-15 символов и более), то возможно будет эффективнее из строки сразу считать md5-хеш, и сравнивать и хранить в массиве уже их. Памяти будет требоваться меньше, но чуть больше будет нагружен процессор (вычисляя хеши) , но думаю что нагрузка будет несущественна.

Проверил вот такой код, печатающий только уникальные строки, сохраняющий порядок строк исходного файла и добавляющий в конец каждой строки номера строк исходного файла.
В принципе, ничего страшного. Для 30 Мб файла (450 тысяч строк, все уникальные) требуется 150 Мб памяти и 15 с (сортировка много времени занимает). Если бы было много одинаковых строк, было бы быстрее (и памяти меньше).

Вроде все получилось, вот код (search.pl):

#!/usr/bin/perl -w

use strict;
use warnings;

my %h;
my $path =$ARGV[0];
open( FILE, "< $path" ) or die $!;

while (<FILE>) {
  chomp;
  $h{$_}++;
}
foreach (keys %h) {
  print "$_;$h{$_}\n";
}

Запускаю вот так:

perl search.pl key.txt >> base.txt

В файле base.txt получаю вот такой результат, вроде все правильно работает:

keyword-a;65
keyword-b;2
keyword-c;7

Еще так можно:
Займет немного больше памяти, но зато порядок строк будет такой же, как в исходном файле (если это важно). 
Этот вариант работает намного быстрее, чем мой предыдущий пример (который с сортировкой), да и памяти потребляет меньше.

Добавлено через 12 минут и 15 секунд
Кстати, именно для случаев такого запуска в перле имеется оператор <>. С ним файлы из аргументов сами откроются, просто

Если придется работать с тремя файлами одновременно ? то как подсчитать количество совпавших строк? что бы к примеру программа выводила "Эта строка повторяется n-количество раз в файлах: file.txt, file2.txt" буду признателен за ответ.

Это сообщение отредактировал(а) OutlawZ - 28.4.2011, 02:24

усложните хеш, например:

Можно пример? а то у меня каша получается в плане том что счетчик совпадений перестал работать и дописывается просто к строке, что не есть хорошо, может сделать хеш хешей????

Это сообщение отредактировал(а) SkoobyDoo - 1.5.2011, 09:33

Вот еще вариант, тут должно меньше памяти расходоваться на хэш:

Всем спасибо, протестировал, доволен результатом.