Приветствую!

Надо писать парсер для текстовых файлов, размер которых может доходить до 1Гб. Формат известен и в принципе можно использовать регулярные выражения. Но пока до этого дело не дошло.
Я написал сканнер, который по кусочкам (64К - 1М) читает файлы и довольно быстро разбивает его на лексемы. Сканнер считывает файл как масив байтов. Теперь дело за небольшим  распарсить эту тонну лексем. Все лексемы в паняти держать не могу, т.к. конечная структура в которою я парсю код не всегда умещается в памяти. Делаю все по кусочкам.

Сейчас начал писать рутины для парсинга примитив, таких как число, строка и т.д. Парсю все из массива байт. Назрел вопрос: можно ли как-то в .НЕТ-е сделать кастинг массиву байтов в строку, так, чтобы сами данные никуда не переписывались? Вероятно я могу использовать RegEx из самого фреймворка, поэтому и спрашиваю. С другой стороны, можно ли этому Регексу дать строку, ну скажем 200Мб? Быстро он ее съест? Может стоит написать самому конструктор автомата - аналог регекса для байтовых массивов? Еще очень большой минус регекса - нечитабельность паттерна, который ему задается. Этот паттерн трудно модифицируем. Как борются с этим?

Вообще, что вы думаете обо всем этом? Как лучше подходить к задаче? Считывать файл построчно нет смысла: 1) медленно, 2) у строки в этом формате нет смысла. Некоторые команды занимают больше одной строки, тогда как другие могут быть помещены по нескольку на одну строку. Весь процесс должен быть максимально быстрым и писать можно только на C#.

neutrino, совершенно не силен в теме. Но совет дать могу: попробуй поискать на codeproject.com: http://www.codeproject.com/info/search.asp...rser&sbo=kw

Parsing Expression Grammar Support for C# 3.0 Part 1 - PEG Lib and Parser Generator
Spart, a parser generator framework 100% C#


СУВ, ivashkanet

 Я бы с такими объемами использовал обычные регекспы, т.к. это, насколько понимаю, всего лишь 2гб оперативки.
Или данная часть программы будет постоянно использоваться?

 Тогда тебе совсем нечего волноваться.
Сам с гигабайтовыми нормально работал, правда не на C#.

ivashkanet, Спасибо за совет. Я там вроде кое-что толковое нашел. Надеюсь перформанс мне подойдет.

nerezus, 

Проблема в том, что структура, которую я строю занимает офигенно много оперативки. Я даже не думаю о том, чтобы выделять 1Гб только для того, чтобы дать его регексу. Но есть и другие ишьюз:
1) регекс нефига не читабелен. Что будет если завтра придет прогер и захочет немного поменять формат?
2) регекс берет строку, а у меня байт-аррэй

Вот подумываю о каком-нибудь движке грамматик, так, чтобы сама грамматика была понятна. Кстати, на codeproject есть такие примеры.
Очень не хочется изобретать велосипед. 

Можно ли считать большие куски файла в строки (string)?

 Покажи регексп?

nerezus, У меня его нет  Мне было достаточно посмотреть на пример с паттерном для числа с плавающей точкой у которого целая часть могла быть равна нулю или без дробной части.

Завтра закину пример файлика.

А раз распарсить тот файл что нужно, загнать его в свой определенный формат, как-то проиндексировать и потом СтримРидером его подчитывать и работать с ним?

Bladerender, очень долго. Пользователю придется много пить кофе 

есть lex, bison и т.п. инструменты.... или даже boost:spirit, правда это все вроде бы c++, но наверно для бизона и лекса есть маппинги и на C# - поройте в ту сторону...

Ну понятно что это не поможет если каждый раз будет новый файл с данными. А если это статическая база с чем-то то самое оно.

Начало файла, для примера выглядит так:

Это файл векторной графики описывающий черчеж одного из слоев печатной платы.