Добрый день.

Написал программу, которая ищет опечатки. Она использует изначально словарь Word (прогоняет слова через движок Word'а), при этом создает собственный быстрый словарь.

Но вот проблема - в текстах кроме опечаток очень часто встречаются фамилии, которые Word не знает:

Иногородне-Малеваный
Бувальцева
Куцевол
Фирстов
Стукалова
Найвирова
Киркоровна
Качарова
Шпец
Пермякова
Свинухова
Шибалкова
Сосницкая
Гутовская
Боровская
Рубайло
Дербуш
Головащенко
Кисиль
Галышева

и т.д.

Причем, видно же на глаз, что слова нормальные, в них нет ошибок. Я, вот, думаю, каким образом можно определить, что эти фамилии нормальные? Чтобы фамилии не захламляли лог с опечатками. Любые идеи приветствуются. 

так слова или фамилии? последнее обычно с большой буквы пишут, можно игнорировать по этому признаку, даже если в начале предложения.

оффтоп: известность - это когда ворд не подчеркивает твою фамилию красным.

Это сообщение отредактировал(а) alezzz - 2.6.2013, 19:30

1) alezzz, программа проверяет юридические тексты на опечатки. Через Word каждый документ проверять сложно (речь идет о тысячах документов в неделю), поэтому нужно как-то "пакетно" проверять по всему массиву документов. 

В программе уже есть опция "пропускать слова с большой буквы". Но при использовании этой опции "проскакивают" опечатки, которые идут в начале предложения и написаны с большой буквы. Возможно, стоит отсекать слова, написанные с большой буквы, которые стоят НЕ в начале предложения... Нужно попробовать.

2) Еще есть некоторая проблема определения топонимов: названий рек, поселков, деревень, которых также нет в словаре Word'а и которых существует огромное разнообразие. 
Пока не знаю, как это решить. Думал о таком методе: если опечатка в одной и той же форме повторяется, скажем, 10 раз, то это не опечатка. Но на деле выходит так: опечатку размножают по нескольким документам и программа пропускает ее, думая, что это нормальное слово. А какое-нибудь редкое (но правильное) слово, программа считает за опечатку. 




Это сообщение отредактировал(а) Suppir - 2.6.2013, 19:51

Может поискать какую-нибудь базу фамилий (телефонный справочник например взять) и по ней создать справочник собственный. Если нет слова в ворде, то в него лезть.

Этот ответ добавлен с нового Винграда - http://vingrad.com