ИМХО - это ерунда, мелкософты хотят заниматься саморекламой... эту ерунду обойдут быстро...

Вот наткнулся... Сам, честно говоря, не читал.
Может, найдёте что полезное. Плюс много ссылок в конце статьи.
http://bio.fizteh.ru/student/diff_articles/no_spam.esp

Уважаемые коллеги,тема моего диплома вскользь касается обсуждаемой проблемы а именно поиск того чьи критерии нельзе жестко задать машине поэтому для таких вещей создаются либо нейросети либо нечеткие системы сканирования, другими словами нужно определять мнимые разграничения спама от неспама.
В дипломе есть параграф о поисковой системе с семантическим подходом т.е. поиск по смыслу а не по совпадениям символов.
Я это реализовывал с помощью контрольного суммирования искомых фраз,по выведенной формуле рассчитывал доверительный интервал,т.е. диапазон значений контрольной суммы попадание в который означает смысловое соответствие, потом сканировал текст участками и проводил проверку попадания значений в этот диапазон. Работает прекрасно, эту систему ставят где-то в министерстве обороны как поисковик. Может и со спамом так получится? :-)

Это сообщение отредактировал(а) Jey_k - 9.1.2004, 18:23

Что за бред?! мелкомягкие делают ФИГНЮ!

ну дык, спам не поиск слова могут меняться, к тому же токен это буквы и их сочетания, что и есть слова. А расчитывание суммы слов в тексте и сверка их попадания и есть статический анализ. С другой стороны неализовать семантический словарь еще никому не удалось (и не удастся в ближайшем будущем) поэтому полноценный ИИ например создать так и не удалось никому. Построение неийронной сети не считаю нужным так как ее надо учить а спам меняется периодически.

Цитата(PAC @ 11.1.2004, 01:18)

ну дык, спам не поиск слова могут меняться, к тому же токен это буквы и их сочетания, что и есть слова. А расчитывание суммы слов в тексте и сверка их попадания и есть статический анализ. С другой стороны неализовать семантический словарь еще никому не удалось (и не удастся в ближайшем будущем) поэтому полноценный ИИ например создать так и не удалось никому. Построение неийронной сети не считаю нужным так как ее надо учить а спам меняется периодически.

Можно брать в качестве эталонов не слова а лексические обороты которые в спаме довольно похожи а без словаря никак не обойтись машина должна на чем-то учиться

Это сообщение отредактировал(а) Jey_k - 11.1.2004, 13:11

не это все лишняя надстройка - ИМХО. Мы говорим об одном и том же, словарь то ведь не семантически. Просто разные детали. И еще кстати к сведению:

"По рзелульаттам илссеовадний одонго анлигйсокго унвиертисета, не иеемт занчнеия, в кокам пряокде рсапожолены бкувы в солве. Галвоне, чотбы преавя и
пслоендяя бквуы блыи на мсете. Осатьлыне бкувы мгоут селдовтаь в плоонм бсепордяке, все-рвано ткест чтаитсея без побрелм. Пичрионй эгото ялвятеся то, что мы не чиатем кдаужю бкуву по отдльенотси, а все солво цликеом."

я так понял что такой текст анализатор фраз пропустит потомучто у него таких просто нет, а если письмо только из этого и состоит то надо присвоить ему статус непонятного, тогда и фразовый и статический анализатор сработают одинаково, если же он делает выборку в плохом письме по часто встречаемся словам а потом анализирует на основании этого письма и выдает результат то он не отличается от статического анализатора, оба подхода требуют получения письма для анализа, короче тоже самое тока сложнее ИМХО. НО, он может дать выше точность потомучто ловит обороты т.е. изначально количество комбинаций меньше (хорошо это или плохо?), хотя ... стат анализ ведь считает количество слов и ему пофиг что в заголовке стоит изначально хорошая фраза "Привет как дела" и он устойчивее, например: слово "виагра", при комбинациях мы получим "купите виагру", "предлагаем виагру", "виагра скидки", "* виагра", "1. виагра", "дешевая виагра" .... пока он не дойдет до того что нужно ловить слово, а при статическом мы получим что при любом написании фразы или порядка слово будет учтено. к тому же стат может быть полезен потому что будет также анализировать дополнительно еще и заголовок письма, а там фразы особо не построишь.
Если брать за основу фразы - несколько комбинаций групп символов между знаками ограничителями типа " " то какую мы получим скорость работы анализатора для большого письма/большого количества писем и какую точность он нам даст?

Плиз, приведи доводы.

кстати если например данный юзверь должен получить письмо со словом виагра то стат анализ может его ухлопать (если письмо из одного слова), це довод. А если мы введем еще и анализ заголовка то мож и пропустит

Проблему эту нужно решать на уровне почтового сервера. нужно блокировать отправку скажем пятого письма с одного адреса за минуту, так как это стопроцеентный спам. И т.д.

Цитата

Проблему эту нужно решать на уровне почтового сервера. нужно блокировать отправку скажем пятого письма с одного адреса за минуту, так как это стопроцеентный спам. И т.д.

не факт
вот, например, есть группа в институте, староста посылает всем какое-то сообщение
20% студентов это сообщение не получат...

На сайте www.spamtest.ru опубликован аналитический отчет "Спам: итоги 2003 года".
Некоторые выдержки:

Цитата

Угасание метода "черных списков" становится все более очевидным. Фильтрация по IP-адресам становится неэффективной из-за использования динамических множеств захваченных пользовательских машин, одновременно приводя ко многочисленным ложным срабатываниям и нередко вызывая нарушения связности отдельных сегментов сети Интернет.

Цитата

Производители фильтров достаточно быстро реагируют на изменения тактики и стратегии спамеров, обучая программы распознавать все новые уловки. За 2003 год те или иные фильтры спама были установлены на большинстве публичных почтовых сервисов "большого" Интернета и Рунета в частности. Спамеры ищут адекватный ответ и начинают использовать методы "замусоривания" текста для обмана фильтров, основанных на анализе содержимого писем. Наиболее часто используются подстановка латинских символов вместо кириллицы, замена текста изображениями, динамическое (в пределах одной партии писем) изменение содержимого писем.

И самое интересное:

Цитата

В результате борьбы щита и меча на первый план выходят лингвистические методы фильтрации спама, для которых не важно, с какого адреса пришло послание. Антиспамерское ПО разбирает содержимое письма в поисках сигнатур, характерных для "мусорных писем".

т.е. не анализирует послание а например сморит чередование и порядок символов типа латинские - русские?

Цитата(PAC @ 23.1.2004, 20:29)

т.е. не анализирует послание а например сморит чередование и порядок символов типа латинские - русские?

Я так думаю, это один из этапов лингвистического анализа.

По-моему все эти методы лингвистического анализа, не дадут нормального решения данной проблеммы, спамеры будут предумывать всё более изощрённые способы маскировки, главное должно быть сделанно со стороны провайдеров и ужесточения наказания за спам(вплоть до лишения свободы), во всех странах, особенно юго-восточной азии, т.е. провайдеры должны следить, чтобы через их каналы спам не проходил, а если прходит, то к этому провайдеру должны быть предъявленны обвинения, с лишением лицензии, наложением штрафов, а если они действовали со спамерами в зговоре, то и лишение свободы.

Провайдер не может все предотвратить, поэтому наказывать надо не его, а спамера, в то время, как провайдер должен помочь поймать спамера.