Есть большое количество документов на русском языке в файлах txt или doc. Всего около 5 Гб. Эти документы были получены путем сканирования и распознавания Finereader'ом. Каким образом можно найти ошибки распознавания и опечатки? 

Текст довольно специфичный, очень много имен собственных (фамилий, названий улиц, компаний и т.п.), поэтому алгоритмы, основанные на сопоставлении слов со словарем, отпадают - слишком долго придется обучать этот словарь. Может быть есть какие-нибудь программы для поиска опечаток, работающие, скажем, на частотных алгоритмах? 

Как, например, без словаря выловить ошибки вроде: 
 
Красндарский
Крансодарский
фдеральный
Краспая площадь

Сделал частотный словарь - получилось несколько десятков мегабайт (больше миллионов слов). Причем есть много мусора вроде "ная", "нодар", "нов" - т.е.  окончания слов после переносов.

Добавлено через 3 минуты и 2 секунды
Интересны любые идеи   

Это сообщение отредактировал(а) Suppir - 23.12.2010, 21:22

Есть мысль прикрутить к этому онлайн словарик. Там уже все слова вычищены. По списку берёшь слово, и там ищешь. Если оно там нашлось, значит правильное, если нет, значит неправильное.

Можно заюзать гугле-переводчик. Если перевёл, значит гут. Хотя он вроде как транслитирует непереведённое... Ну это уже проще отловить


Просьба делиться тем что получится 



Это сообщение отредактировал(а) dmitryk1 - 24.12.2010, 07:46