Вот очередная версия, эта вроде работает
Принцип следующий:

• текст разбивается на токены Tokeniser-ом, на выходе получаем массив Token-ов. Каждый Token содержит: первоначальный текст, позицию этого текста, словоформы (это возможные варианты написания этого токена после применения к нему транслитерации, удаления дублирующихся букв и т.п.), и рейтинг этого слова (чем выше тем хуже это слово.
• по Token-ам прогоняются Transformer-ы, которые и порождают новые словоформы
• ко всем Token-ам применяются FilterRule, которые изменяют рейтинг слова. рейтинг может не только повышаться, например фильтр разрешенных слов может для слова гребля обнулить рейтинг
• далее Filter для тех слов рейтинг которых превышает заданный предел, заменяет их на знаки @#$%&*

Для практического применения там еще куча работы, но принцип ясен. Принимается:

• критика
• пожелания
• советы
• денежные переводы

Это сообщение отредактировал(а) LSD - 12.2.2005, 21:55

Присоединённый файл ( Кол-во скачиваний: 17 )
 Filter.jar

Сории, но я когда запускаю, весь ДОС - экран какими то значками заполняется....

Аналогично. Плюс я не пойму зачем рейтинг нужен

Цитата(sergej @ 12.2.2005, 19:22)

Сории, но я когда запускаю, весь ДОС - экран какими то значками заполняется....

Это потому, что при компиляции надо указать javac -encoding UTF-8. т.к. исходники именно в этой кодировке. Я выложил новую версию, ее можно просто запускать, она уже скомпилена. Файлы читаются и пишутся в родной кодировке ОС. В файле словаря слова нада разделять пробелами, табуляцией или переводом строки.
На данный момент подерживаются следующие преобразования: транслитерация (по винградовскому словарю), замена одинаково пишущихся английских символов на русские, и неких сочетаний спецсимвлов /| = Л, удаление повторяющися букв блииин = блин, разбиение слова на отдельные слова по типу символов (строчные, заглавные, цифры и т.д.) МногоеМОЖНОсказатьОднимСловом = многое можно сказать одним словом. Пока это все кодом, но если будет развиваться дальше, то надо будет вынести в файлы настроек или БД.

Цитата(Domestic @ 12.2.2005, 20:53)

Плюс я не пойму зачем рейтинг нужен

Надо же как-то отделять плохие слова от хороших . Можно например в фильтр включить не только мат но просто грубые слова, а исключать их в зависимости от настроек пользователя. В простейшем случае все можно свести к rating > 0.

Я произвел некоторые доработки, теперь преобразование замены унифицированно и задается в виде XML, словарь теперь тоже задается в XML, добавлено преобразование позволяющее проводить суперпозицию других преобразований.
Теперь осталось напролнить словарь и потестировать на реальных примерах. Мне нужна помощь по наполнению словаря, т.к. для каждого слова нужны или все словоформы (предпочтительно) или выделить общую часть.

Присоединённый файл ( Кол-во скачиваний: 52 )
 filter.jar

Есть ли обновления этой темы?

посмотрите Snowball