у меня есть файл IN.txt:
.
текст
текст
КОМАНДА ЗНАЧЕНИЕ
текст
текст
КОМАНДА ЗНАЧЕНИЕ
текст
.
этот файл размером несколько гигабайт, всего более сотни видов команд. Необходимо создать скрипт, который:
1) проверяет правильное ли значение у конкретной команды
2) если значение неправильное, то поменять на значение по-умолчанию
.
Я создал файл SPEC.txt:
.
ПАТТЕРН КОМАНДЫ,ПАТТЕРН ЗНАЧЕНИЯ,ЗНАЧЕНИЕ ПО-УМОЛЧАНИЮ
ПАТТЕРН КОМАНДЫ,ПАТТЕРН ЗНАЧЕНИЯ,ЗНАЧЕНИЕ ПО-УМОЛЧАНИЮ
ПАТТЕРН КОМАНДЫ,ПАТТЕРН ЗНАЧЕНИЯ,ЗНАЧЕНИЕ ПО-УМОЛЧАНИЮ
ПАТТЕРН КОМАНДЫ,ПАТТЕРН ЗНАЧЕНИЯ,ЗНАЧЕНИЕ ПО-УМОЛЧАНИЮ
.
в нем через запятую записан паттерн команды, паттерн значения и значение по-умолчанию.
Теперь мне нужно, пробегая по каждой строке файла IN:
1) искать паттерн команды
2) проверять правильный ли паттерн значения
3) если неправильный, то поменять на значение по-умолчанию.
.
я немного не понимаю, как лучше это сделать? Занести в хеш данные из SPEC и потом сверять с хешем, или лучше в массив и потом перебирать по индексам массива. В файле SPEC 100 строк, в файле IN - несколько миллионов. Заранее спасибо за подсказку

Привет, zyxerr!

Если список команд и значений небольшой, то я не делал бы их шаблоны, а просто загнал бы все в трехуровневый хеш:

Пример:
команда_1->значение_1->значение_по_умолчанию_1
                 ->значение_2->значение_по_умолчанию_2
...

Если наборы значений для команд или наборы значений по умолчанию для значений пересекаются, то можно сделать независимые хеши с уникальными значениями и правильно расставить ссылки, это позволит съэкономить память.

Пример:
команда_1->значение_1->значение_по_умолчанию_1
                 ->значение_2->значение_по_умолчанию_2

команда_2->ссылка_на_значение_1
                  ->значение_3->ссылка_на_значение_по_умолчанию_2
...


Ну а если хочешь использовать шаблоны, то в качестве ключей хеша можно использовать рег.выраж, которые будут определять классы команд, значений и значений по умолчанию... Но тогда придется перебирать ключи, до обнаружения совпадения для перехода на следующий уровень...

Первое, что пришло на ум 

Это сообщение отредактировал(а) IceSunrise - 30.10.2008, 17:48

Вечер добрый!

У каждой команды могут быть разные значения, но эти значения можно описать одним шаблоном.
.
пример:
!NUM 235-П
где:
!NUM - команда
235-П - значение
шаблоны:
!NUM  -шаблон команды
(\d+)-?[ПпРрЗз]? - шаблон значения
.
по-умолчанию значение = "ОШИБКА"
.
в файле SPEC у меня записано:
!NUM,(\d+)-?[ПпРрЗз]?,ОШИБКА
.
соответственно, если в тексте будет запись:
!NUM 235x
то оно не соответсвует шаблону значения и строка должна поменяться на
!NUM ОШИБКА
.


Это сообщение отредактировал(а) zyxerr - 30.10.2008, 18:11

Уважаемый zyxerr, если в SPEC.txt у Вас хранится шаблон команды, как Вы предполагаете использовать хэш?
Получается только массив. Массив массивов или хэшей - это как Вам удобнее, разница не столь значительна. Шаблоны в массиве лучше хранить в скомпилированном виде (через qr{}).

Как вариант, можно использовать три регулярки:

после этого

Itsys, какие достоинства этого варианта, кроме усложнения?   

Надо проверить что будет работать быстрее, использование трех регулярок для всего файла или перебор по строкам...

Itsys, как будем обрабатывать файл из нескольких миллионов строк? в память загрузим?
Регулярных выражений не 3, а 300.   

ginnie, да, наверное лучше каждую из нескольких милионов строк проверять по 100 раз.....   

ЗЫ А файл можно и в память загрузить.... все зависит от объема строки... если этот файл помещается на диске, и есть место куда можно свопиться..... не вижу никакой проблемы. Мы же не знаем всех параметров задачи (размер файла, мож там размер одной строки 10-20 байт) и конфигурации компьютера (сервера) на котором эта операция будет производиться.

Условия такие: 
.
файл IN размером 1.5GB, длина строки - от 40 до 180 символов (стандарт - 75), всего - 26 млн строк
команд - около сотни. Каждая команда начинается с со знака "!" в начале строки (!КОМАНДА)
машина: Pentium E4600, 3 Gb оперативки, винчестер 320 GB

zyxerr, лучше еще добавить до поиска в строке команд по шаблону проверку на "!" для ускорения. Также, если много одинаковых команд, можно добавить кэширование уже обработанных комманд в хеше и сначала проверять по нему.

ginnie, 
да, я уже заметил, что если начала искать /^!/ а потом уточнять /команда/, то поиск в несколько раз быстрее проходит. А можешь подсказать:по оптимизации регулярных выражений кроме книги Фридла что еще можно посмотреть? какие-нибудь познавательные блоги, форумы?

zyxerr, по регулярным выражениям особо ничего подсказать не могу, для меня очень полезной оказалась глава "Поиск по шаблону" из книги Ларри Уолл, Том Кристиансен, Джон Орвант. Программирование на Perl. Еще очень полезно разобраться с отладочной информацией, которую выдает use re 'debug'.

ginnie, спасибо