Цитата(Domestic @ 23.1.2005, 13:22)

Ну так запишем слова типа "гре" и "подстрахуй" в отдельный словарь и их трогать не будем.

Тогда начнет прокатывать "гре ".

Цитата(Domestic @ 23.1.2005, 13:22)

да и кому будет охота материться когда для этого нужно будет выдумывать малопонятные символы?

Еще как охота будет, это же такой азартный спорт

Цитата(Domestic @ 23.1.2005, 13:22)

все возможные истолкования в любом случае не уловишь

Конечно, но надо дать возможность администратору самому добавлять новые извороты пользователей в фильтр.

Я считаю что важнее разработать нормальную, хорошо расширяемую систему анализа и фильтрации текста, а не пытаться предусмотреть сейчас все варианты. И не надо зацикливаться на русском и английском, есть и другие языки, это тоже надо учесть.

Цитата(LSD @ 23.1.2005, 04:44)

Тогда начнет прокатывать "гре ".

Ну тут уже надо учить программу понимать смысл предложения, а иначе не получится. Ведь можно тогда ругаться : греБЛЯ!!!

Цитата(LSD @ 23.1.2005, 04:44)

Еще как охота будет, это же такой азартный спорт smile

Ну это уже будет ерунда, особенно если убрать основное.

Цитата(LSD @ 23.1.2005, 04:44)

Конечно, но надо дать возможность администратору самому добавлять новые извороты пользователей в фильтр.

В аттачменте словари задаются в отдельных текстовых файлах - добавляй что хочешь.

Цитата(LSD @ 23.1.2005, 04:44)

И не надо зацикливаться на русском и английском, есть и другие языки, это тоже надо учесть.

Тут проблем нет, за секунду можно добавить. Единственное что требуется - словари.

Цитата(LSD @ 23.1.2005, 04:44)

Я считаю что важнее разработать нормальную, хорошо расширяемую систему анализа и фильтрации текста, а не пытаться предусмотреть сейчас все варианты.

А предложенный вариант - это не система фильтрации текста?
1. Переводим все в нижний регистр.
2. Выбрасываем "безопасные" символы типа . , и пробелы, из которых мат не составишь
3. Повторяющиеся буквы убираем (точнее, они сохраняются как children в предшествующей Pair, чтоб убрать слова типа CcccRRRAAAPP)
4 В зависимости от языка трансформируем часто применяемые обозначения/транслит в буквы
5. Заменяем слова из словаря на ****
Без словарей тут не обойтись.
Кроме того, все возможные варианты все равно не отловим. С каждой новой проверкой добавляются тормоза, потому нужно остановиться на отлавливании основного.

Тормоза - финя.
Проверок можно разных сделать и несколько раз по тексту пробежаться.
Почему бы непрогить несколько вариантов параллельно?

LSD, Где твой алгоритм?

Вот мои приблизительные наметки по поводу данного фильтра.
Критика приветствуется

Присоединённый файл ( Кол-во скачиваний: 10 )
 Filter.jar

Как я понял суть в том чтобы была возможность подключать произвольные фильтры/токенайзеры.

1. Зачем нужны токенайзеры, я не понял.
2. Подключать фильтр - идея хорошая, если бы речь шла о фильтрации различных типов слов; например одинт фильтр - для мата, другой - для слов с сексуальной окраской, и т п. Опыт показывает что в основном нужен антиматовый фильтр. Потому фильтры-плагины идея конечно гут, но зачем она тут не представляю.
Действие фильтров не обязательно складывается. Это если б один фильтр отдсекал слова "дурак" и "козел", а второй слово - "гад", то да. Но чтобы отловить мат нужно сначала как-то преобразовать исходный текст. Суть состоит в наиболлее оптимальном выборе алгоритма. Если же алгоритм разный то после действия одного фильтра действие другого практически равно 0.

------------
Единственный кто стянул мой код - ну как, есть замечания?

Цитата(Domestic @ 23.1.2005, 16:52)

Единственный кто стянул мой код - ну как, есть замечания?

Ага, не компилируется
Но это мои проблемы. Сейчас некогда решать...

Цитата(Domestic @ 23.1.2005, 16:52)

Если же алгоритм разный то после действия одного фильтра действие другого практически равно 0.

Это будет видно. тем более, что я предлагаю использовать не последовательно, а параллельно.
На вуходе массивы - keys как я описывал. Просто не один, а несколько.
Потом решаем (чего нить придумаем), какие интервалы фильтровать.
PS:
Дело в том что наши концепты (мой, твой и LSD) практически друг другу не мешают, но дополняют

Цитата(sergej @ 23.1.2005, 08:59)

Ага, не компилируется smile

Т.к. нужна 1.5. Переделать в 1.4?

Цитата(Domestic @ 23.1.2005, 18:03)

Т.к. нужна 1.5. Переделать в 1.4?

Если нет веских причин использовать 1.5, то конечно лучше переделать. Ниже 1.4 имхо не стоит делать, т.к. там регекспов нет.

Цитата(sergej @ 23.1.2005, 17:59)

Дело в том что наши концепты (мой, твой и LSD) практически друг другу не мешают, но дополняют

Пока попробуем довести до ума каждый свой вариант (у меня даже не все классы пока есть) а там решим.

Цитата(Domestic @ 23.1.2005, 17:52)

1. Зачем нужны токенайзеры, я не понял.

В принципе на данный момент достаточно одного Tokeniser-а, просто правила разбики на токены могут быть разными, вот я и ввел его на всякий случай, в принципе его можно выкинуть.

Цитата(Domestic @ 23.1.2005, 17:52)

2. Подключать фильтр - идея хорошая, если бы речь шла о фильтрации различных типов слов; например одинт фильтр - для мата, другой - для слов с сексуальной окраской, и т п. Опыт показывает что в основном нужен антиматовый фильтр. Потому фильтры-плагины идея конечно гут, но зачем она тут не представляю.

Мне хотелеось реализовать более универсальную идею фильтрации, вот я и сделал это через плагины.

Цитата(Domestic @ 23.1.2005, 17:03)

Т.к. нужна 1.5. Переделать в 1.4?

Да, будет лучше.

Цитата(LSD @ 23.1.2005, 17:44)

Пока попробуем довести до ума каждый свой вариант (у меня даже не все классы пока есть) а там решим.

ИМХО лучше умно в кучу собрать.

Цитата(sergej @ 23.1.2005, 19:02)

ИМХО лучше умно в кучу собрать.

Есть идеи как? Я пока не вижу как, хотя код Domestic Cat пока не смотрел.

Это должен рулевой решать. Там надо всё сравнивать искать пути. Короче работа

sergej.z, а там у тебя в подписи не мат ?

Пока ишшо идея - нуна предосмотреть вариант козел.

Цитата(Domestic @ 24.1.2005, 01:31)

нуна предосмотреть вариант

А что с ним?
Такое препроцессор должен убивать. (В смысле тэги хавать)

Дык если препроцессор не написать, кто есть их будет?

Вот смотри, как на этой страничке текст отображается, так после препроцессора и должно быть.
Текст в таком виде всё равно в каком то месте можно вычитать.