Давайте разработаем "Алгоритм определения СПАМа"
Естественно понятно, что СПАМ часто нельзя отличить от обычных писем, но если разработать хороший алгоритм, то количество получаемого СПАМА можно снизить во многие разы.

Вместе мы можем прийти к вполне неплохим идеям.

Последнее время спаммеры приклеивают к Subject'у и к телу сообщения рандомные символы (может, и к каким-то еще заголовкам, я не смотрел). Следовательно, если проверять мессаги на идентичность, то проверять не полностью, а, например, по половине сабжа и 4/5 тела сообщения...

Уже предпринято множество попыток, и в основном все они рассчитаны на отлавливание слов наиболее часто встречающихся в СПАМе (напр. "заработай $1.000.000"). Только толку от этого немного. Наиболее эффиктивны, на мой взгляд, это файрволлы с заранее известными условиями, ну т.е. если вы знаете, что письма с картинками в теле письма вам присылать некому, то можно сразу такие письма отсеивать; или же принимать от сервера сначала заголовки письма и обратный адресс, а потом (если нужно) уже загружать само письмо. Это по крайней мере поможет сэкономить время на скачивание. Хотя этой проблемой уже занимаются "большие умы" и много лет, а воз и ныне там.

Цитата

Master wrote: Спасибо Admin, но у меня появилась идея и я выскажу её прямо сдесь. Можно сделать такую штуку. Тебе приходит письмо. Оно проверяется на наличие в нем определенного сочетания символов хранящегося в БД с каторой работает почтовый сервер. И как только приходит не идентифицированное письмо и не с ящика который можно записать в дружественные. То письмо пересылается обратно с просьбой идентифицировать его. т.е. ввести в subj присланный в этом же письме id и отправить снова. Если спамеру будет приходить 1000 таких писем, то он обалдеет а если ещё при этом в ящики с которых идет спам устраивать контейнеры с мусором отправляя на них письма прогами, то вот тут-то как раз и можно одержать небольшую победу!!! Ну как?

Неплохо, неплохо... Полностью согласен....
Единственные два минуса - это увеличение траффика и то, что это дело можно тоже автоматизировать.
Можно решить 2 пункт, усугубив 1 - ID присылать в виде картинки, пропущенной через все, что можно, с целью искривить, смазать и сделать практически нечитаемой для робота.

MuToGeN, врядли тот, кто хочет завалить вас письмами, будет использовать свой е-меил. А заваливать письмами ни в чем неповинных людей, тоже СПАМ, и адрес будет уже ваш!
Да и спаммер может отправить со своего ящика 1000 писем и удалить его, и потом почтовый сервер вернет вам столько-же сообщений с ошибками, что такого адреса не существует!
И еще, если это опытный спаммер, а не обычный ламерюга, он сможет сделать такую вещь:
При получении сообщений сверять поле Кому со своим адресом и удалять такие письма, так как писать ему врядли кто будет!

Это сообщение отредактировал(а) DIMA.NET - 21.6.2003, 11:39

Цитата

врядли тот, кто хочет завалить вас письмами, будет использовать свой е-меил. А заваливать письмами ни в чем неповинных людей, тоже СПАМ, и адрес будет уже ваш!

Это всего лишь просьба подтвердить, а не спам. Ты же не считаеш что если тебе пришло подтверждение о регистрации где бы то ни было спамом. так? Если человек пишет, то его просят это подтвердить.

Цитата

И еще, если это опытный спаммер, а не обычный ламерюга, он сможет сделать такую вещь: При получении сообщений сверять поле Кому со своим адресом и удалять такие письма, так как писать ему врядли кто будет!

А тебе самое главное, что бы спам не приходил, а он пусть удаляет
Чем больше тем лучше.

Цитата

Да и спаммер может отправить со своего ящика 1000 писем и удалить его, и потом почтовый сервер вернет вам столько-же сообщений с ошибками, что такого адреса не существует!

В клиенте можно написать систему, которая будет удалять такие письма.

PS: надо обязательно создать такую штуку. Займусь обязательно.

Это сообщение отредактировал(а) Master - 21.6.2003, 11:55

Цитата

Это всего лишь просьба подтвердить, а не спам. Ты же не считаеш что если тебе пришло подтверждение о регистрации где бы то ни было спамом. так? Если человек пишет, то его просят это подтвердить

Я говорю не про простго человека, а про спаммера, который использует чужой адрес. Послал спаммер с чужого адреса 100 сообщений, и пользователю с таким мылом придет 100 подтверждений!

Цитата

А тебе самое главное, что бы спам не приходил, а он пусть удаляет Чем больше тем лучше.

Ты же хотел, чтобы спаммер "обалдел"

Цитата

В клиенте можно написать систему, которая будет удалять такие письма.

Ну у каждого почтового сервера свои сообщения об ошибках, тем более администратор может создать свои сообщения об ошибке => сортировать такие сообщения IMHO будет тяжеловато. Но может быть у тебя получится!

Это сообщение отредактировал(а) DIMA.NET - 21.6.2003, 12:37

Цитата

Я говорю не про простго человека, а про спаммера, который использует чужой адрес. Послал спаммер с чужого адреса 100 сообщений, и пользователю с таким мылом придет 100 подтверждений! Ты же хотел, чтобы спаммер "обалдел"

В письме можно прекрипить рекламу скрипта или (mail сревера если освою C++), в который можно будет вписать возможность заносить в базу id отправленных писем и если письмо небуло отправлено с этого ящика и пришло подтверждение, то не желея мочить такие.

Но пока напишу лишь простую прогу.
К тому же я не уверен что спамер будет указывать чужой(существующий) email, а раз так, то основная проблема будет решена.

Это сообщение отредактировал(а) Master - 21.6.2003, 12:45

Может кто-нибудь сначала подскажет, что в мире по этому поводу уже придумано?

2Master ты случайно не знаешь формат запроса/ответа POP3 - протокола?
2podval в том, что уже есть, хакеры, спамеры и все остальные ищут дыры и придумывают защиту от антиспамов => придумать свою систему будет безопаснее, по крайней мере, спаммер не будет знать, что делает твой алгоритм!

DIMA.NET
Мне надо это, чтобы хотя бы знать, от чего оттолкнуться.

podval большинство из антиспамов проверяют на наличие ключевых слов, например:
Win $1.000.000
You won $10.000.000 и т.д.
Некоторым просто вводишь айпишники, от которых ты не хочешь получить почту.
В основном они делают это!

Цитата

еще, если это опытный спаммер

за опытного спаммера считать меня (трезвого), т.к. в свое время достаточно занимался подобными вещами (увеличить сами-знаете-что никогда не предлогал)

MuToGeN, значит будем на тебе тренироваться

Вот у меня тут идейка появилась:
большинство спамеров использую программы - роботы, которые генерят автоматом е-маил спаммера и smtp-сервер спаммера => создание и отправка сообщения занимает всегда одинаковое время. Если теперь сравнивать дату написания у всех полученных сообщений, можно отбрасывать те сообщения, у которых время создания на определенное кол-во секунд больше, чем у предыдущего. Если программа действительно создает и отправляет сообщения с идинакивой скоростью и временем, то промжуток между сообщениями будет одинаковым!
MuToGeN, как спаммер ламеру, такое возможно?

Интересно, как часто спамеры используют левые почтовые сервера и как часто свои?

Ну скорее всего чаще используются левые сервера, во-первых там его никто не обнаружит, во-вторых, левых серверов очень много => догадаться один и тот же это спаммер или нет будет тяжело!

Меня заинтересовал критерий, что если мне придет 1000 писем от спамера, который в обратном адресе укажит чей-нибудь...

Нужно сделать такую вещь, чтобы в течении определенного времени от отправлять ограниченное кол-во подтверждений на определенный ящик, а оставльные просто игнорировать. Кажеться кансенсус достигнут.

DIMA.NET, если канал не загруженный, достаточно быстрый и спаммер не использует прокси-серверов, то отследить таким макаром можно, что и делают большинство антиспамовых прилад к серверам.
К вопросу о серверах... Там технология такая: есть две программы. Первая - почтовый клиент, способный выслать письмо на множество адресов. Вторая - SMTP-сервер, на который высылает письма первая программа. Вторая же, в свою очередь, выступает в качестве почтового реле, и отправляет письма на другой сервер либо на несколько серверов. Я пользовал smtp.mail.ru, там в свое время антиспамовой защиты практически не было.

Еще к вопросу о серверах:
Кое-где существуют блэк-листы и вайт-листы, т.е. списки доменов (подсетей), откуда письма принимать нельзя, и списки доменов (подсетей), откуда (и только оттуда) письма принимать можно.

Большинство спаммеров используют графику (в основном jpeg). Обращяю еще раз внимание: можно отслеживать наличие в письме графических файлов и если они не с "дружественного" адреса сразу эти письма отсеивать. Это по крайне мере решит главную проблему - загрузка спама, т.е. экономит время. ведь именно письма с графикой имеют наибольший размер.

Нет. Мне в мыло очень часто приходят материалы по работе содержащие jpeg файлы

Так, народ, может я не совсем в тему, но все же.
Есть идея на счет все тойже самой нейросети или др. алгоритма с обучением.
Хоть это поначалу и доставляет немного хлопот по обучению, но все же.
Как вам такая идея?
Кто работал с НС - тот знает, правильно построенная Нейросеть дает отличные результаты.

И Второе насколько актуальна проблема СПАМА по почте в мире?

Как реализовывать - нейросеть или др. - это следующий этап. Мы пока еще даже не описали формализованно задачу.

Все должно быть жостко четко тогда спамеры накроються магильной плитой
Очень простой пример наверника (100 пудов даю) в инете исть либо какая нибуть служба или какой нибуть сервер на котором зарегестрированы большое количество самых крупных почтовых серверов так вот при получении письма надо связываться с данной службой и проверять адрес с которого был отправлено письмо если данный адрес зарегистрирован то почтовая служба пропускает письмо если нет то отправить ответ о том что на данный почтовый сервер не проходят сообщения с не зарегистрированных серверов и если вы хотите чтоб они проходили то свяжитесь с админом почтовово сервера и попросите его зарегистрировать ваш почтовый сервер в такойт о системе
хотябы полгода у спамеров выйграем
(а если нет такого сервера то создайте его и с вас причитаеться за идею и меня в группу разработчиков пригласите (это мои условия за идею))

А если такого нету, то может сделать его самостоятельно.
Открыть сайт. Сделать платную регистрацию email адресов с подобной защитой за 1 копейку в месяц.
Глядиш и наберем на выделенную странцию через пару лет.
Но за кота в мешке мы ничего не получем, так что надо искать инвесторов.

Что-то похожее есть: http://www.spamtest.ru
Рекомендую также почитать там статьи. Может, вообще имеет смысл объединить усилия с этими ребятами.

Цитата

Нет. Мне в мыло очень часто приходят материалы по работе содержащие jpeg файлы

А мне, например, часто приходится отправлять или принимать exe или bat файлы, но сервак их рубит, поэтому их приходится зиповать (даже если это уже екзешный архив). Так и тут рабочие файлы можно зиповать, а представляешь себе рекламу порно-агенства типа "...а на наш товар можете посмотреть в прекрепленном архиве...". К тому же должна быть база "дружественных" адресов. НО ТОЛЬКО ВСЕ ЭТО ДОЛЖНО ПРОИЗВОДИТЬСЯ НЕ СЕРВЕРЕ. А то outlook сначало скачает, а потом будет удалять (я лично такого юмора не понимаю)

Метод борьбы со спамом - "серые списки"

Сегодня злостный спаммер - центр американского английского - прислал очередную дурь. Но фильтр не сработал только из-за того, что большинство слов в послании было написано через пробел после каждой буквы вот так:
Ц е н т р а м е р и ка н с к о г о

и где-то смешанно, вот так:

Ц е н тр а м е рика н с к о го.

Есть идеи, как бороться?

Удалять пробелы и (если это возможно) искать ключевые слова в одной строке!

Стоп! Но кто просит левого получателя всех этих запросов вообще отвечать на них? Можно сделать так: ID оригинала сообщения помещаем в базу на компьютере получателя, а затем посылаем запрос на адрес отправителя с содержашейся в теле письма темой оригинала и просьбой подтвердить отправку письма. Ждем три дня ( или запуска программы) и если подтверждения не пришло, то удаляем письма прямо на сервере. если подтверждение пришло - качаем их к себе и даем пользователю прочитать их.

Я имел в виду то, что получатель запросов может просто удалять письма прамо на сервере, не качая их к себе.

Людиии!!! Может я могу чем-нибудь помочь Мне нужно на мыло чтобы паааааално спама приходило!!!! Я его проанализирую и помогу ;))

Цитата

Мне нужно на мыло чтобы паааааално спама приходило!!!! Я его проанализирую и помогу ;))

Ну это устроить просто: подпишись в инете на какую-нибудь рассылку, а лучше на десяток. Спустя время на твой адрес пойдет не только пресса, на которую ты подписался, но и спам.

Я в инете бываю редко и про мыло нифига почти незнаю, но у меня (скорее всего глупая) идея:
в "теме" писать какой-нибудь опознавательный код, если его в теме нет - то это спам.
А этот код разослать всем от кого хочешь получать почту.
Может быть даже тема д.б. = твоему адресу.

Цитата

Удалять пробелы и (если это возможно) искать ключевые слова в одной строке!

Не обязательно удалять пробелы. Просто можно добавить еще один фильтр. Скажем отсеивать письма, в которых есть три или больше слова из одной буквы подряд. Врядли кто-то нормальный будет писать тебе письмо т а к и м о б р а з о м...

К вопросу о письме-запросе и письме-подтверждении. Разрабатывая их, необходимо знать, что они должны быть ОЧЕНЬ малы, иначе администрации почтовых серверов просто не примут нашу технологию, а чего доброго еще и накостыляют :-)... Представте себе картину:
Спаммер отсылает тысячу сообщений с промежутком в 1 секунду. Сервер нагибается, но не падает совсем... А теперь назад идут еще тысяча запросов. Это может просто добить сервер. А ведь спаммер не один :-).

Цитата

в "теме" писать какой-нибудь опознавательный код, если его в теме нет - то это спам. А этот код разослать всем от кого хочешь получать почту.

Это будет работать, если имеешь определенный круг людей с кеми общаешься.
А если зарегится в каком-нить каталоге, то на мыло как правило должно приходить подтверждение, тема которого 100% не будет содержать этого кода, дак что теперь - в спам его?

У меня есть идея борьбы по собственному опыту. Намедне мой почтовый адрес использовали для отправки (извините, выругаюсь, просто достали!!!) х*ни. В аттачменте был файл (запускаемый) явно не дружественного содержания. Ну и вообщем-то мне "вернулось" эдак 10 писем. Вообщем я предлагаю такой алгоритм:
Спамеры используют зачастую, как уже было замечено, чужие адреса (на этот таз мой ). Ну и вообщем - то если кому тоже вернулась такая фигня - пересылать её. И все письма данного содержания - в мусорку ещё на сервере. (в конце концов они ж не каждый час меняют текст письма). Ну вообщем-то я думаю мою идею уловили. + пытаться по сигнатуре письма определять IP, и по этому IP делать ответные действия (только сначала нужно убедиться, что это тот IP).

Да и вообще: самый лучший фильтр - это отсутствие спамеров. А с ними надо бороться ихними же методами. т.е. мочить их компы, так чтобы они ...... замучались их подымать...

и кстати по поводу ключевых слов - надо добавлять не только ключевые слова, но и самволы, которые нормальный человек писать не будет, например: ~$ вместе и т.п. И кроме того, если тема, или аттачмент, или тело письма содержит название хотя-бы одного из известных вирусов, туда же его.

altarasjuk, сообщения с вирусами хороший почтовый сервер сам отсеивает.

DIMA.NET, mail.ru не отсеял

Цитата

DIMA.NET, mail.ru не отсеял

Не хочу обидеть пользователей mail.ru, но по моему мнению - это один из самых кривых почтовых серверов, не хочет работать с другими серверами.
По крайней мере так было до недавнего времени.

altarasjuk, я говорю про ХОРОШИЕ!
Тем более будут ли доходить до тебя письма с вирусами или нет должен настроить сам администратор почтового сервера. Хороший администратор должен знать, как защититься от вирусной атаки!

Вопрос: Мы собираемся только разработать этот алгоритм, или еще и воплотить его в жизнь...

Phantomouse
А какой смысл в алгоритме, который пылится на полке?

Цитата

я говорю про ХОРОШИЕ!

Но ни один почтовый сервер не отловит вирус до тех пор, пока тот не будет найден. Или этот "вирус" написал Вася у себя дома, который просто стирает файл ntdetect.com.... и к примеру в doc файле макросом или ещё как.... Я скажем не открываю всякую фингю - а сразу её в утиль, а какой-то Петя (впервые пользующийся компьютером) сходу откроет - и Вася добился желаемого....

2. мысль по поводу содержимого: может имеет смысл не слова искать, а каким-то образом проанализировав ВЕСЬ текст понять рекламного характера письмо или нет. В конце-то концов зачем придуман ИИ. вот от него и исходить, только базу знаний заполнить будет ой как сложно.....

altarasjuk, у меня адрес на почтовом сервере MDaemon 5, и до меня ни разу не доходило письмо с вирусом, только отчет о том, что в таком - то сообщении сидел такой - то вирус!

Сегодня самый действенный способ это наверно все же сервак, на котором есть список хостов и аккаунтов спамеров. Если доступ к такому списку может получить любой, то это затруднит спамерам жизнь.
А с американским английским мои знакомые нашли свой метод борьбы: расклеили по Москве объявление о сдачи в наем квартиры на очень привлекательных условиях. Говорят что на следующий день при звонке по этому номеру они услышали раздраженно истеричный голос

Не помню на каком сайте, я видел список часто употребляемых серверов.
Двал в YAHOO antispam. Если кому интересно попробуйте!

На стайте spamtest.ru опубликована статья Против спама нет приема?. По-моему, весьма занятно.

Цитата

На мой адрес приходят десятки спамерских писем ежедневно. Я не получаю ни одного из них. Вместо этого они складываются в особый каталог на сервере, называемый карантинной зоной, и на каждое сообщение отправляется автоматический ответ (так называемый запрос подтверждения), выглядящий примерно так: Ваше сообщение, датированное 20.06.2003, 00:18:31, не было доставлено. Для того, чтобы произвести доставку, Вам следует отправить пустое письмо на адрес [email protected], содержащее в поле "Тема:" строку "SEND_12345#". Это одноразовая процедура - в дальнейшем (после подтверждения) Ваши письма будут проходить без задержек. Вот, собственно, и все. При получении письма с указанной строкой специальная программа (почтовый робот) извлекает сообщение из карантинной зоны и отправляет мне, а адрес отправителя автоматически добавляется в "Белый список" - теперь вся почта, приходящая с него, будет доставляться без лишних вопросов, и подтверждать доставку повторно не потребуется. А спам фильтруется почти на 100%. Почему? Очень просто

Прочтите полностью. Есть хорошие идеи.

^
|
|

Можно также элементарно заспамить любого использующего эту систему, но будет чуть сложнее - надо ещё ждать вопроса о подтверждении

По-моему, обсуждения на предыдущей странице наиболее близки к теме %)

Я считаю, что нужно по-минимуму нагружать админов. У меня мамка админом работает, и я знаю как ей достаётся %)

Есть конструктивное предложение.
{
Письмо от A приходит на сервер (S). S производит проверку аттачей на вирусы (всякими там касперскими, ну лучше знать тем, кто непосредственно этим занимается) + проверку на наличие в ч.списке данного адресата, Если ч.список возвращает отстутствие, то....
{
Далее сообщению присваивается определённый ID, хранящийся непосредственно в теле сообщения и просьба не удалять данный фрагмент текста (можно решить по-другому, добавив в какое-нибудь поле типа "Reply-To:"). Если отправителя (сервера отправителя) нет ни в одном из списков (Ч или Б), то в текст сообщения добавляется просьба об ответе на сообщение, если оно не является рекламным.

Если B создаёт ответ и постит его (необходимо делать SMTP сервер свой...) и в нём есть ID, то сервер или отправитель добавляется в белый список. Если через некоторое время после получения сервером сообщения, ответа на этот адрес не поступает - происходит добавления отправителя(адреса или сервера SMTP) в ч.список.
} иначе сообщение отсылается обратно с ответом:
Йохохо ублюдки! //Если вы не спаммер - вам сюда >>>

Ж)))


}

Вот так Алгоритм является моей интеллектуальной собственностью )))

Существуют и некоторые проблемы в алгоритме. Добавлять сервер\mail address или ещё чего %) ??

Это тоже может оказаться неэффективно. + SMTP& POP должны работать с одной базой данных.

Smtp & POP3 взяты просто для примера, можно использовать IMAP :-D Можно вообще какой-нибудь свой протокол зафигарить, но только Чаво с ним делать?

Как я понял, если тот, кто послал письмо, отвечает на запрос, вдальнейшем ему не будут приходить запрсы на подтверждение того, что он отправил. Или я не так понял?

Ты понял правильно (вроде бы ) ) То есть если ты не отвечаешь на сообщение, то ты не ведёшь переписку с этим человеком. Значит это либо спаммер, либо недоброжелатель

Надо отметить, что нет универсальных алгоритмов, как нет алгоритмов и идеальных!

Есть ещё одно предложение!

В наше время защитой от спама не удивишь, а посылать\получать приходится порой файлы и около десятка мегабайт. С российским дилапом - это садомазохизм! Что если для получения таких сообщений использовать временный ftp-сеанс, а почтовый клиент типа регета? После попадания на сервак почты сообщения, проверяется его размер. Скажем если больше 500 кб, то переходим к "2".Илли скажем если вся inbox-почта превышает допустимый размер (скажем 1 метр), то сжимаем zip'ом, и удаляем файлы и переходим к "2".

"2": Создаём временную директорию на винте типа ./inbox/temp/43453453656857867.230703
и посылаем адрес почтовому клиенту, а в это время директория становится доступной по ftp. Идёт скачивание ... После окончательного скачивания происходит пересылка некоторого флага серваку, он проверяет всё ли так и удаляет эту директорию.
...........................................................................................................................................................
Отправка должна представлять из себя примерно тоже самое, только ftp позволяет "подзакачивать"
----------------------------------------------------------------------------------------------------------------------------
На сервер будет больше нагрузка, но в век ИТ...

А потом открываем офигенный сайт типа RePOST-Mail System.... И стрижём бабки на продаже анти-спамной + подкачивающей системе %) Удачи ! Бизнесмены

Цитата

С российским дилапом - это садомазохизм!

Выделенные линии очень сильно развиваются даже в России. Думаю, что если так развитие пойдет дальше, то через пару лет проблема обрыва связи на диалапе даже в России уже никого волновать не будет.

И все же, давайте в этой теме обсуждать алгоритмы определения спама. А в соседней теме, если кто желает - может изложить свои мысли на другие пусть и схожие темы.

Admin ;) Никто не против!

Цитата

Phantomouse А какой смысл в алгоритме, который пылится на полке?

Я не про это. Я имею в виду то, что наше дело закончится на разработке алгоритма, или мы будем сами создавать систему как программу?

Phantomouse, написание программы всегда сопровождается предварительным обсуждением её функций и возможностей. Чаще придумать алгоритм бывает сложнее, чем написать саму программу! Или я не прав???

Phantomouse
Я думаю, тут будет не совсем алгоритм, а сначала некая идеология/концепция построения антиспамной системы, а затем уже совокупность алгоритмов ее работы. А почему бы их не имплементировать потом в софт?

Я не понимаю что за спор? Действительно надо сначала обсуждать:
1. Особенности и цели
2. Алгоритмы и их особенности
3. Программирование алгоритма и особенности этого программирования

На основе 3 пункта, 1 и 2 будут обсуждаться в дальнейшем не однократно!

если уж и делать проект, то давайте откроем домен на h10 халявный, туда зальём форум и будем там всё обсуждать Может сторонние посетители смогут помочь? ))

Рекомендую взглянуть сюды.

Там почти мой алгоритм ;) Другое дело, что можно создать свой почтовый сервак и свой почтовый клиент с несколькими видами дизайна (the bat или outlook expr.) со сменой скинов.

Моя золотая мечта - чтобы ничего не надо было скачивать Так можно сделать клиент, который вывыодил мессаги (их темы только), лежащие на серваке, а юзер по выбору тыкал для аплода

Цитата

ак можно сделать клиент, который вывыодил мессаги (их темы только), лежащие на серваке, а юзер по выбору тыкал для аплода

это и в бате уже можно...

ну и что? А где это сделано нормально?

Это нам, программерам, прикольно всякие telnet'ы запускать, да пол дня конфиги менять, а юзеру нужен ДИЗАЙН + ОТЛИЧНАЯ СПРАВКА!!!!

Домен зарегистрирован:

FTP: spamu-net.h10.ru
login: spamune7
password: pPI5WSMK

Когда дело дойдет до самого софта, считайте что я изъявил желание присутствовать в команде девелоперов.

Кстати говоря, идея про почтовый сервер - это действительно идея ))). Но предлагаю сначала заняться программой-клиентом типа аутлука, чтобы найти спонсоров на покупку этого сервера ))).

Цитата

1. Особенности и цели 2. Алгоритмы и их особенности 3. Программирование алгоритма и особенности этого программирования

С целями думаю мы уже разобрались... Значит надо переходить ко второму пункту... Какие будут конструктивные предложения? )

По принципу работы антиспам ситемы можно поделить на два типа:
1. Создание списка ограниченного общения.
2. Создание систем подтверждения.

минусы:
1. Сужает круг общения.
2. Требует вмешательства отправителя.

плюсы:
1. 100% гарантии жизни без спама.
2. Возможность общения с незнакомыми людьми.

пути обхода:
1. Нет.
2. Автоматизации подтверждения. При известном алгоритме подтверждения очень просто сделать автоматизацию.

анализ:
Системы комбинируют оба подхода. Слабым местом является часть реализующая подтверждения.

прогноз:
Когда антиспам создаст реальную угрозу спамерам те будут предпринимать попытки автоматизировать подтверждения, что приведет к более сложным системам подтверждения, что в свою очередь создаст большие неудобства конечному пользователю.

выводы:
можно создать надежную систему антиспама ценой уменьшения свободы общения и создания неудобств при общении.

Давайте, ребята, пойдем по классическому пути. Т.е. в соответствии с этапами жизненного цикла от разработки концепции до реализации.
Давайте возьмем небольшую паузу и подумаем над такой глобальной и стратегически важной вещью, как концепция разрабатываемой системы борьбы со спамом. Этой концепции будет подчиняться весь дальнейший ход наших мыслей и действий. Возможно, кто-то уже высказал здесь эту главенствующую идею. Надо только ее конкретно сформулировать.
Кстати

Цитата

1. Особенности и цели

- это как раз из этой оперы.

Цитата

Давайте, ребята, пойдем по классическому пути. Т.е. в соответствии с этапами жизненного цикла от разработки концепции до реализации. Давайте возьмем небольшую паузу и подумаем над такой глобальной и стратегически важной вещью, как концепция разрабатываемой системы борьбы со спамом. Этой концепции будет подчиняться весь дальнейший ход наших мыслей и действий. Возможно, кто-то уже высказал здесь эту главенствующую идею. Надо только ее конкретно сформулировать.

И у тебя есть идеи по поводу этой самой концепции?

Цитата

выводы: можно создать надежную систему антиспама ценой уменьшения свободы общения и создания неудобств при общении.

А можно просто не заводить мыльник, или раздавать его адрес только близким друзьям (ведь он не просто так попадает в базу к спаммерам). Но зачем тогда такая система? Это как резиновое изделие номер 2 )... Вроде без него опасно, но с ним не удасться почуствовать всю полноту ощущений.... Так и ХОРОШАЯ система должна давать пользователю свободу при надежной защите, причем он должен даже не подозревать об этом...
Вывод: подобно известной всем технологии защити от нежелательной беременности, надо пытаться обрывать спаммерские сообщения еще при отправлении (но как?) или убивая спаммеров (не в прямом смысле), даже не сообщая об этом пользователю... Чтобы он забыл про слово СПАМ.

Теперь такой вопос. Спаммеры научились создавать темы сообщений таким образом: Re: Hi!. Т.е. неподготовленный пользователь может подумать, что он действительно получил ответ от кого то из друзей. Значит спаммерам не надо будет даже париться с подтверждением... достаточно будет просто посылать за первой волной (спам) вторую (ложные подтверждения), но это только в том, случае если будет раскушен алгоритм... Вот и новый шаг - а как защититься от этого?

Убивать мужчин?? ))

А нельзя кнопочку добавлять к каждому сообщению - В чёрный список. А тупым неопытным юзером на почтовике и везде (вплоть до клиента) твердить о том, что и как. Но попробуй такую вещь проделать! Возьми базу адресов и забомби её Re: Hi! )) А потом ещё и ответы нашли всякие!!!

Можно сделать самообучающийся алгоритм подтверждения. Делатьих таким образом, чтобы уже пользователь "нашей" системы, непосредственно, не знал об этом! То есть вся переписка переделывается в html, а там добавляются скрытые поля и что-нибудь такое невидимое Там же хранить инфу о переписке какую-нибудь. Я же предложил что: без вмешательства пользователя - если переписка продолжается, то... Но действительно можно сделать "липовые" подтвержения... А что если поступить следующим образом: если переписки никогда с этим челом не было, то в мессаг написать крачным, полужирным 38-м в самом верху: вы с ним никогда не вели переписки! И набор кноп.: в ч.список, сообщить админу и т.п. Естесно, чтобы всё это было удобно пользователю...

Другой подход. Он очень банален, но что если?! Сервак мэйловый, где спам фильтруют люди? Скажем сделать его платным. То есть ты открываешь там ящик вполне прриличный, с набором имён и пр., + абонентская плата... Но больно много людей надо и клавиатур %) А ещё им надо платить.

--------------------------------------------

Есть предложения по "моему" алгоритму?

--------------------------------------------

Сейчас ящиком с защитой от спама не удивишь, а вот что дальше? Нужны дополнительные сервисы (не количество, а качество), нужно службу поддержки нормальную (пример тому яндекс - там админы отвечают на письма втечение нескольких часов, в отличие от всяких mail.ru, land.ru и тп). Нужно добавить различные услуги типа отправка новостей на ящик (сервером естественно - и никаки левых рассылок), всякие побрякушки, т.к. вся переписка хтмльная... Чтобы веб-интерфейс для почты ничем не отличался по возможностям от клиента, а точнее наоборот - клиент от веб.......

--------------------------------------------

И всё-таки нужно сервис делать по-надёжнее чем дивайсы, о которых было написано в предыдущем сообщении...

Bayesian Engine for Spam / Non-Spam Detection
Bayesian support within the new Spam Filtering system has been completed. Bayesian classification is a mathematical process whereby machines can actually learn. Through repeated exposure to known samples of spam (and non-spam) Bayesian enabled software can learn to recognize patterns. Over time, Bayesian classification techniques grow more and more reliable.

MDaemon supports Bayesian classification through its incorporation of the SpamFilter heuristic software and through use of a "learning" program that is used to rapidly process and index spam and non-spam sample messages. The learning tool, SA-Learn, will be executed by MDaemon at midnight each night. The tool will examine the content of a "known-spam" folder and a "known-non-spam" folder. You provide the folders and the content. Since the Bayesian results improve over time the scoring tends to get more and more accurate.

SA-Learn trusts that the messages you feed it really and truly are spam and/or non-spam. It takes your word that the input data is accurate. Here's what you should do:

Go to the Spam Filtering|Bayesian tab and use the "Pub Folder" buttons to create two public folders - one for false negatives (messages that should have been flagged as spam but weren't) and another folder for false positives (messages that were incorrectly flagged as spam). Make these folders accessible to all your IMAP users. Now, instruct your users to place copies of any false positive or false negative messages that they receive into these public folders. MDaemon will process them through the learning tool at midnight each night. After processing, these messages are automatically deleted.


PS Как вам такое??

-----------
взято с MDaemon

Пример реализации того, что мы ищем нам подсказывает сама природа. Вспомним школьный курс биологии… Клетка. Ее мембрана свободно пропускает воду, питательные вещества и кислород. Но она задерживает многие вредные газы. Лишь микробы способны проникнуть сквозь нее, но внутри его ждет фагоцитоз. Стоит заметить, что сама по себе мембрана не мешает, а даже помогает клетке общаться с миром :-). Вот к такой системе нам и надо стремиться. А для этого на мой взгляд нужно в первую очередь подумать, а не тупиковая ли та идея, тот алгоритм от которого мы оттолкнулись. Не приведет ли она нас к ограниченности общения| Я думаю, что надо попытаться начать с нуля (полного нуля) и разработать принципиально новую программу, а не двигать уже устаревшие и выработавшиеся механизмы.

Phantomouse, я с тобой согласен. Необходимо что-то принципиально новое!!!! Новый протокол, новые принципы, возможно новая сеть. А что если действительно организовать MailNet? Ж)

Итак... Есть идеи по поводу основы такой сети?

Идей у меня пока нет. Но..

Я вот никак не пойму как POP3 работает. То есть рфц я посмотрел, но не пойму, как сделать сервак поповоский? Может нужно за основу брать уже что-то сделаное (поп3, imap), но делать это заново? То есть использовать те же принципы, но делать тоже самое с нуля?