Делаю форум для сайта http://www.inoSMI.Ru . Сайт посвящен переводам видной западной прессы о России - даёт представление о мнении элитной западной прессы (разделяемой, как мне кажется, очень многими) о нас.

Там порой такие статьи, что и я без мата не прокомментирую при всём желании - так что фильтр русского мата просто необходим. К тому же, как мне рассказывал админ предыдущего форума на этом сайте, желание матернуться у посетителей настолько сильно, что они изобретают хитрые методы, типа замены в матерных словах русских на латинские буквы, благо часть из них пишутся одинаково, или даже просто буквы с соответствующим русскому звучанием вставляются взамен русских внутрь слова.

Нужен фильтр, который бы мог заменять мат на "<слово удалено цензурой>" или что-то в этом роде - крайне желательно, что бы он был написан на Java...
Если не найду на Java, задам вопрос в более общий раздел форума - тогда, видимо, придётся заворачивать в веб-сервис или что-то наподобии этого...

Ну вот простой вариант

Код

public class FFilter {      protected static String[] forbidden = {"Microsoft", "corporation", "Windows"};      public static String filter(String input) {         for(int i = 0; i < forbidden.length; i++) {           StringBuffer stars = new StringBuffer();           for (int j = 0; j < forbidden[i].length(); j++) {             stars.append("*");           }           input = input.replaceAll("(?i)"+forbidden[i], stars.toString());         }         return input;      }      public static final void main(String[] arg) {        String test = "Visual Studio .NET 2003 Copyright Microsoft corporation";        System.out.println(filter(test));      } }

Все дело в том чтобы загнать побольше слов, во всех возможных сочетаниях.

Domestic Cat
Спасибо, канешь, но я думаю, нужен намного более сложный алгоритм - хотя бы из-за различных окончаний, которые качественно отличают русский язык от английского, и главное - именно из-за хитрости несдержанного народа, о которой я написал выше...

Поидее, мне нужно фильтровать не столько по написанию, сколько по звучанию - поэтому нужна функция на подобии запроса LIKE БД... Но специфическая...

Цитата

Поидее, мне нужно фильтровать не столько по написанию, сколько по звучанию - поэтому нужна функция на подобии запроса LIKE БД... Но специфическая...

Дык регекспы покруче LIKE будут

Цитата

Спасибо, канешь, но я думаю, нужен намного более сложный алгоритм - хотя бы из-за различных окончаний, которые качественно отличают русский язык от английского, и главное - именно из-за хитрости несдержанного народа, о которой я написал выше...

Ну так на любом языке можно сделать :
fuck
f/\ck
f*u*c*k
Fuk
..... ad infinitum
В-первых тебе окончания слов не нужны, достаточно корень вырезать, а это сокращает словарь.
Во-вторых можно подумать как эти слова задать регекспами:
http://java.sun.com/docs/books/tutorial/ex...egex/index.html
то есть не задавать целиком слова / корни.

Domestic Cat
RegExp`ы я знаю неплохо, хотя за ссылку спасибо всёравно :-)

Хорошо, допустим, можно сделать действительно на них (RegExp`ах) - идея хорошая, сгодится. Тогда нужен их список для всех слов русского мата... Где-нибудь что-то подобное есть?

Т.е. в цикле перебераем массив регэкспов, заменяя слова в тексте по нему - и на выходе получаем "очищенный" текст...

Да, тогда всё упирается в написание такого массива - первая версия может быть написана за день-два достаточно муторного кропотливого труда, остальное доделывать по факту обнаружения ошибок...

Ещё, менее "дорогие" по времяни варианты?

Неужели никто не сталкивался до меня с такой проблемой? Не вверю...

Насколько я знаю нормального решения для фильтра матов нет. Если искать по корню, то такие слова как "гребля", "сабля" и т.д. сильно пострадают.

А нечего про всякие гребли-сабли писать
Добавлено @ 14:52
http://www.relib.com/forums/topic.asp?id=810403

Domestic Cat, и по моему ИМХО тоже

Вот кое что. Движек на tcl'e + словарь

http://irc.tm-net.ru/soft/eggdrop/scripts/antimat.tar.bz2

ИМХО любой фильтр можно обойти, но с другой стороны если админ не спит, то второй раз то же фокус не пройдет. Так что основной поток мата можно отсечь.

Можно попробовать накидать примерный алгоритм:
1) разбиваешь текст на токены
2) ищешь все слова состоящие из смешанных букв, и в них заменяешь все латинские буквы на аналогичные русские буквы (как то икс на ха), и наоборот если требуется фильтр английского мата. Соответственно для каждого токена может быть несколько вариантов. Так же можно заменять псевдографику.
3) переводишь транслит
4) а теперь просто проходишься по списку токенов обычным фильтром

Реализовывать это конечно будет не просто, но после реализации алгоритма, основная проблема будет только в обучении фильтра, но в этом тебе форумчане помогут

Давайте разработаем антимат на яве?
У меня тоже мысли имеются и кое какой опыт

Цитата(sergej @ 21.1.2005, 21:40)

У меня тоже мысли имеются и кое какой опыт

Поделись.

В принципе кластерингом документов в последнее время занимаюсь с использованием онтологий. ну и wordprocessings всякие тоже туда принадлежат. Немного не то, но вполне применимо.

Цитата(LSD @ 21.1.2005, 21:28)

Реализовывать это конечно будет не просто, но после реализации алгоритма, основная проблема будет только в обучении фильтра, но в этом тебе форумчане помогут

Цитата(sergej @ 21.1.2005, 21:40)

Давайте разработаем антимат на яве? У меня тоже мысли имеются и кое какой опыт smile

Давайте вместе, канешь :-)

Цитата(sergej @ 21.1.2005, 10:40)

Давайте разработаем антимат на яве? У меня тоже мысли имеются и кое какой опыт smile

А что? Неплохая идея...

Предлагаю во первых открыть для проекта новую тему в "наших проектах". Кто откроет, тот и будет рулить
Туда и идеи и релизы кладывать. На яве будет перспективно-кроссплаттформенно.
Я вообще удивляюсь, что ничего серьёзного в этом направлении нет....