Задумал написать не большую программу, которая будет проверять вводимое слово на  наличие только грамматических ошибок. Предполагается брать уже готовую базу слов, к примеру выдрать из firefox. Для начала интересует какой именно словарь использовать и откуда его скачать

предлагаю проверку так же взять из firefox

Ну, словарь это не алгоритм 
Можно попробовать описать алгоритм разбора слова на составляющие(приставка, корень, суффикс, окончание), и вот уже по менее громоздким словарям этих самых частей судить об ошибках в слове  И, думаю, такие алгоритмы уже есть, и велосипед изобретать не надо(хотя очень хочется).

Ну я не собираюсь изобретать велосипед, я спрашиваю, кто, где чего видел, включая алгоритмы.  

где-то читал что ms word проверяет орфографию посредством сравнения хеммингового расстояния (это теория кодирования), то бишь имеряется это расстояние для вводимого слова и сравнивается с расстояними слов из словаря, если оно достаточно/приемлемо мало -- предлагает как правильный вариант, если словарь большой то проверка будет на уровне
вопрос в другом: что делать с морфологией русского. тут лучше брать не словарь, а тезариус, но если тексты для ввода простые, то можно и без него

Да у меня в принципе тексты и не большие и не сложные. Я хочу попробовать написать плагин к аське, для проверки орфографии. 

если попробовать, то тогда, пожалуй, можно обойтись словарем, просто игнорировать окончания слов (а то склонения всякие и пр.)
а рассматривался вариант использования word-а? точнее, загрузить и обращаться посредством ole? сам такого не делал, но по идее, это вполне возможно

Это сообщение отредактировал(а) aleksh - 9.7.2008, 15:53

aleksh,  да это вполне возможно, но тогда в память будет загружаться ворд, прикольная перспектива, когда для проверки орфографии, еще надо будет за собой загружать целого монстра))

согласен, с вордом это я перегнул, но если поискать, думаю можно будет найти способ обращатся только к проверке орфографии из ms office
но если задача просто вводимые слова минемально проверять на опечатки, то можно так: при наборе слова отдельным потоком пустить сверку со словарем (измерять хемминговое растояние полезно для составления списка вариантов исправления) и при появлении ошибки возможные варианты предлагать после нажатия пробела (и потери активности окна), прописать возможность добавления новых слов в словарь, игнорировать последние пару символов (зачем раздувать словарь вариациями склонения, иначе надо задуматься над структурой словаря)
алгоритм проверки того самого расстояния, так понимаю, расписывать не надо

А разве с словаре firefox лежат не все возможные написания слов и они не тупо перебираются на соответствие?


хм... может пунктуацию - т.к. там нельзя ожидать абсолютную четкость и предопределенность, а написание слов можно проверять простым перебором. У меня уже давно нет ничего майкрософтовского кроме "выньXP" дома для цацэк, но насколько я помню ворд, если там написать ласкательное производное от слова - он выдает ошибку, т.е. он тупо перебирает - а раз слова в словаре заведомо упорядоченные по алфавиту то затраты на перебор минимальные из возможных. Не вижу сложности... Думаю и Firefox(кстати, загляните в код!) и PSPad, и Linuxовые аськи делают это точно также - перебором...

DRUID3, вот вот и я так думаю, по этому дело завязывается на базе слов, а не на алгоритме, т.к. алгоритмов множество!

вопрос.. каким образом работает поиск в этом форуме? напишите слово "орфография", например..

Добавлено @ 21:52


да? хм.. черкани парочку   допустим у нас есть 1.000.000 слов и 1 секунда на поиски   

Это сообщение отредактировал(а) polosatij - 11.7.2008, 21:53

У мну была идея как посторить такую систему... смысл заключается в построении некой хеш ф-ии которая дает близкие значения для слова и искаженного слова
Такою фигню наверное можно сделать с помощью LVQ загрузить словарь и выполнять в словаре перестановки и назначать искаженным словам тот же кластер

Попутно надо решить как кодировать буквы:
линейно  от 0 до 33
или, к примеру, а и о закодировать близкими значениями

Нужно ли использовать словосочетания...

Еще можно почитать, что умные люди поэтому поводу пишут... http://itman.narod.ru/

PS: тема мне интересна, так что если мне объяснить как вытащить из лисы слова, то я могу провести над ними дикие опыты и отписаться об этом на форуме... rtfm на конкретную страницу мурзилки тож сгодится


Это сообщение отредактировал(а) dereyly - 13.7.2008, 15:19

я думаю, это было бы многим интереснА   

polosatij, 

??? а есть трудности ???   во-первых словарь - заведомо упорядоченный список (по алфавиту) и слова в нем запросто могут лежать в виде деревьев - сложность обхода каждого конкретного случая будет равна количеству букв в слове, а не тупому перебору всего словаря. Собственно это стандартные условия и стандартное решение, даже не понимаю зачем я обьясняю?   Ну и во-вторых 1 000 000 слов не делают - возьмите любой разговорный словарь там из пару десятков тысяч - ну если там все падежи, или иные другие формы перебрать то 100 000 хватит с головой.

есть и ещё какие..






а если нет словаря? скажем, это имена городов.. есть только имена городов, но речь тут идёт о "нечётком поиске"..





и опять-таки словаря нет.. и падежей тоже считайте, что нет.. мне нужна такая штука на 15 языков.. это сколько надо информации перелопатить, пока напишешь правила, как вы говорите..  

Велосипеды называются  aspell, ispell (последний более продвинутый) реализации есть на многих языках. Словари стандартные (вроде firefox тоже ими пользуется).

2 polosatij Ваша критика несостоятельна, так как Вы сами придумываете трудности и сами же заходите в тупик их решения. Понабирайте слова в Firefox, openoffise, word и посмотрите сами

+
бред, бредом погоняет - еще раз повторюсь если слова нет в словаре оно будет ошибочным(красненьким подчеркнется). Вы вообще в дружбе с действительностью?   Имена городов в словарях перечисляют - если город малоизвестный то "любой ворд" выдает ошибку. Не верите проверьте сами. Даже человек не всегда по написанию слова понимает город это ли (а вдруг фамилия) !!!!!!!!!! - зачем сюда приплетать нечеткий поиск???


а Вы с производителями телевизоров часто спорите об истинном, на Ваш взгляд, их устройстве??? кажется не редко   

База слов к словарю MySpell. В базе примерно 150000 слов + окончания, в конечном итоге 1,2 млн словоформ. Точного времени поиска слова, к сожалению, пока не замерил, но старт программы, считывание 150000 слов из файла, поиск захардкоженого слова и отображения на экран, занимает около 3 сек. Так что ничего сложного не вижу....

Добавлено через 7 минут и 8 секунд

До aspell и ispell пока не добрался, но MySpell  что то мне не сильно понравился Особенно этой строкой bool nosplitsugs= (0==1)? хотя можеть есть какой тайный смысл?  

Ещё есть Google API http://www.dotnetjunkies.ddj.com/Article/C...F3C09CD94B.dcik

интересно, зачем они мне вообще нужны.. речь идёт об опечатках..





найти, нет ли слова в словаре - как два пальза об асфальт и подчеркнуть красненьким.. а вот найти правильное слово, про это вы что-то забыли..

 


у меня речь идёт о поиске городов.. человек может туда хоть "луну" написать.. речь идёт об опечатках в городах..





у меня к тебе один вопрос.. вот, ты такой крутой и не видишь юричины беспокоиться.. тогда напиши мне логику решения следующего:

юзер написал: Xberlin, berlXin тебе в базе данных нужно найти слово Berlin.. раскажи мне пожалуйста, как именно ты собираешься БЫСТРО найти слово Berlin, мне просто интересно..
нет.. действительно интересно.. может это я просто тут один такой   





а синонимы там есть или слова близкие по значению? например, я набираю: "дом", а он мне выдаёт "вилла"? 





надо будет посмотреть 

нада MySpell тоже посмотреть будет 

Та Вы што...  







??? да, а должен был помнить? Покажите где ранее шла об этом речь??? 



2polosatij
Вы тупо уперлись рогами и не хотите сознавать, что не правы.   Опять "25" - да зачем мне искать слово Берлин по X-Берлин? Как можно вообще определить, что это ошибка? А может это фамилия??? Или название забегаловки? Вот потому-то можно только красненьким подчеркнуть! Мало того, если на то пошло, то и небыстро слово то не найти, хоть весь список переберай.  И каким боком Вы сюда приторочите нечеткий поиск и нечеткую логику??? 
Если же Вы имели ввиду вывод списка слов близких по написанию или исправление одиночной ошибки(две оибки в слове и ворд бессилен, помните?), то это сделать можно уймой простых и быстрых способов - если слово не обнаружено в словаре, то добавляем его в словарь (который хранится в виде дерева и такое добавление тоже не занимает особо времени) соответсвенно любое слово в дереве отличное на одну букву будет выводиться в списке близких в написании слов. В таком алгоритме опять же не нужно перебирать весь словарь. И т.д. и т.п. напридумывать их можно пучок, да и из продуктов open source их можно навытягивать готовых...

Модератор:  немного подправил, просьба быть немного посдержаннее

Это сообщение отредактировал(а) maxim1000 - 14.7.2008, 10:43

Модератор: 
давайте, немного потише 
эмоции, тем более подобные, редко помогают решить задачу

если в условии что-то непонятно, или создалось впечатление, что оно неправильно сформулировано, можно просто попросить уточнить условие

уж извините, чот зашёл дальше, чем ваше представление    посмотрите проверку, например в гоогле майл, там, предлогаются варианты, а не тупое подчёркивание   



очень просто   такого слова, нет в базе данных   



если ты наберёшь в гоогле какое-нибудь этакое слово и опечатаешься, он предложит тебе варианты    именно об этом я и говорю   а ты предлогаешь красненьким подчеркнуть, хех..   







ты забыл описать алгоритм нахождения слова Berlin  

Добавлено через 2 минуты и 22 секунды


это точно.. мы собираемся здесь, чтоб найти решение задачи, а стресса и на работе хватает    

2maxim1000  я прямо в растерянности, кажется я же не матерился!? А то товарищ polosatij обо мне вообще очень плохо подумает...

polosatij
Я не даром привел цитаты "зачинщика" этой темы и вариантов предложенных ему кои он не отвергал - значит изначально речь шла о подчеркивании(выделении) неправильно написанных слов на что я и ориентировался...

Причем Вы, товарищ polosatij, были страшно возмущены поиском слова в большом словаре. На что я имел неосторожность возразить, мол ключевое слово словарь а значит заведомо отсортированный(упорядоченный), и следовательно храня его определенным образом (древовидная структура) мы избежим пересмотра всего списка при поиске определенного слова. Подход сей широко известен и универсален!!! Находит применение в ЦОС, криптографии, экспертных системах и т.д. И, собственно, указанная Вами трудность - не есть трудность на самом деле...
 Вы же в ответ задание усложнили. Ну хорошо, даже если и так и требуется выводить слова-ассоциации то все-равно нет необходимости в переборе всего списка даже однократно. И все потому же - т.к. проход дерева по одной ветви в глубь пусть(ну пусть даже несколько таких проходов для отображения всех слов ассоциаций) не сравнимо менее ресутрсоемкая задача чем перебор всех слов в словаре. Для точности надо заметить, что это справедливо для языковых словарей, но математически можно выдумать такие словари где это будет не так ...


Вы что, хотите чтобы я Вам написал исходик??? Ведь идею я, кажеться, вполне ясно изложил...

   






мне кажется такой способ неприемлимым.. объясняю почему, если юзер набирает Xberlin, то ты автоматически находишься уже не в той ветви, т.к. первая буква уже не та.. 



нет, мне достаточно "простого" алгоритма  

Добавлено через 8 минут и 13 секунд



DRUID3, лана.. мы просто не поняли друг-друга.. живи   

шутю   

нет, конечно же, никаких матов не было, но уж слишком близко к переходу на личности
просто, когда дискуссия горячая лучше гасить даже маленькие искорки 

Парни, не парьтесь! 
Уже есть множество платных и бесплатных реализаций так называемых Spell Checker`ов.
Среди бесплатных фигурируют aspell, ispell, myspell, hunspell. Последний является потомком проектов ispell и myspell, использует соответсвенно их же словари, которые можно взять с офф-сайта OpenOffice.org. 
hunspell, кстати, сейчас и используется в самом OpenOffice.org, как более продвинутая реализация.