Естественно понятно, что СПАМ часто нельзя отличить от обычных писем, но если разработать хороший алгоритм, то количество получаемого СПАМА можно снизить во многие разы.
Вместе мы можем прийти к вполне неплохим идеям.
| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Методы борьбы со спамом > Алгоритм определения СПАМа |
| Автор: Wowa 20.6.2003, 20:22 |
| Давайте разработаем "Алгоритм определения СПАМа" Естественно понятно, что СПАМ часто нельзя отличить от обычных писем, но если разработать хороший алгоритм, то количество получаемого СПАМА можно снизить во многие разы. Вместе мы можем прийти к вполне неплохим идеям. |
| Автор: MuToGeN 20.6.2003, 21:00 |
| Последнее время спаммеры приклеивают к Subject'у и к телу сообщения рандомные символы (может, и к каким-то еще заголовкам, я не смотрел). Следовательно, если проверять мессаги на идентичность, то проверять не полностью, а, например, по половине сабжа и 4/5 тела сообщения... |
| Автор: Cashey 20.6.2003, 22:22 |
| Уже предпринято множество попыток, и в основном все они рассчитаны на отлавливание слов наиболее часто встречающихся в СПАМе (напр. "заработай $1.000.000"). Только толку от этого немного. Наиболее эффиктивны, на мой взгляд, это файрволлы с заранее известными условиями, ну т.е. если вы знаете, что письма с картинками в теле письма вам присылать некому, то можно сразу такие письма отсеивать; или же принимать от сервера сначала заголовки письма и обратный адресс, а потом (если нужно) уже загружать само письмо. Это по крайней мере поможет сэкономить время на скачивание. Хотя этой проблемой уже занимаются "большие умы" и много лет, а воз и ныне там. |
| Автор: MuToGeN 21.6.2003, 10:19 | ||
Единственные два минуса - это увеличение траффика и то, что это дело можно тоже автоматизировать. Можно решить 2 пункт, усугубив 1 - ID присылать в виде картинки, пропущенной через все, что можно, с целью искривить, смазать и сделать практически нечитаемой для робота. |
| Автор: DIMA.NET 21.6.2003, 11:33 |
| MuToGeN, врядли тот, кто хочет завалить вас письмами, будет использовать свой е-меил. А заваливать письмами ни в чем неповинных людей, тоже СПАМ, и адрес будет уже ваш! Да и спаммер может отправить со своего ящика 1000 писем и удалить его, и потом почтовый сервер вернет вам столько-же сообщений с ошибками, что такого адреса не существует! И еще, если это опытный спаммер, а не обычный ламерюга, он сможет сделать такую вещь: При получении сообщений сверять поле Кому со своим адресом и удалять такие письма, так как писать ему врядли кто будет! |
| Автор: Master 21.6.2003, 11:54 | ||||||
Это всего лишь просьба подтвердить, а не спам. Ты же не считаеш что если тебе пришло подтверждение о регистрации где бы то ни было спамом. так? Если человек пишет, то его просят это подтвердить.
А тебе самое главное, что бы спам не приходил, а он пусть удаляет Чем больше тем лучше.
В клиенте можно написать систему, которая будет удалять такие письма. PS: надо обязательно создать такую штуку. Займусь обязательно. |
| Автор: DIMA.NET 21.6.2003, 12:35 | ||||||
Я говорю не про простго человека, а про спаммера, который использует чужой адрес. Послал спаммер с чужого адреса 100 сообщений, и пользователю с таким мылом придет 100 подтверждений!
Ты же хотел, чтобы спаммер "обалдел"
Ну у каждого почтового сервера свои сообщения об ошибках, тем более администратор может создать свои сообщения об ошибке => сортировать такие сообщения IMHO будет тяжеловато. Но может быть у тебя получится! |
| Автор: Master 21.6.2003, 12:43 | ||
В письме можно прекрипить рекламу скрипта или (mail сревера если освою C++), в который можно будет вписать возможность заносить в базу id отправленных писем и если письмо небуло отправлено с этого ящика и пришло подтверждение, то не желея мочить такие. Но пока напишу лишь простую прогу. К тому же я не уверен что спамер будет указывать чужой(существующий) email, а раз так, то основная проблема будет решена. |
| Автор: podval 21.6.2003, 14:50 |
| Может кто-нибудь сначала подскажет, что в мире по этому поводу уже придумано? |
| Автор: DIMA.NET 21.6.2003, 15:07 |
| 2Master ты случайно не знаешь формат запроса/ответа POP3 - протокола? 2podval в том, что уже есть, хакеры, спамеры и все остальные ищут дыры и придумывают защиту от антиспамов => придумать свою систему будет безопаснее, по крайней мере, спаммер не будет знать, что делает твой алгоритм! |
| Автор: podval 21.6.2003, 15:28 |
| DIMA.NET Мне надо это, чтобы хотя бы знать, от чего оттолкнуться. |
| Автор: DIMA.NET 21.6.2003, 15:37 |
| podval большинство из антиспамов проверяют на наличие ключевых слов, например: Win $1.000.000 You won $10.000.000 и т.д. Некоторым просто вводишь айпишники, от которых ты не хочешь получить почту. В основном они делают это! |
| Автор: MuToGeN 22.6.2003, 03:42 | ||
|
| Автор: DIMA.NET 22.6.2003, 03:59 |
| MuToGeN, значит будем на тебе тренироваться |
| Автор: DIMA.NET 22.6.2003, 04:27 |
| Вот у меня тут идейка появилась: большинство спамеров использую программы - роботы, которые генерят автоматом е-маил спаммера и smtp-сервер спаммера => создание и отправка сообщения занимает всегда одинаковое время. Если теперь сравнивать дату написания у всех полученных сообщений, можно отбрасывать те сообщения, у которых время создания на определенное кол-во секунд больше, чем у предыдущего. Если программа действительно создает и отправляет сообщения с идинакивой скоростью и временем, то промжуток между сообщениями будет одинаковым! MuToGeN, как спаммер ламеру, такое возможно? |
| Автор: HalkaR 22.6.2003, 22:12 |
| Интересно, как часто спамеры используют левые почтовые сервера и как часто свои? |
| Автор: DIMA.NET 23.6.2003, 08:25 |
| Ну скорее всего чаще используются левые сервера, во-первых там его никто не обнаружит, во-вторых, левых серверов очень много => догадаться один и тот же это спаммер или нет будет тяжело! |
| Автор: Master 23.6.2003, 10:10 |
| Меня заинтересовал критерий, что если мне придет 1000 писем от спамера, который в обратном адресе укажит чей-нибудь... Нужно сделать такую вещь, чтобы в течении определенного времени от отправлять ограниченное кол-во подтверждений на определенный ящик, а оставльные просто игнорировать. Кажеться кансенсус достигнут. |
| Автор: MuToGeN 23.6.2003, 14:21 |
| DIMA.NET, если канал не загруженный, достаточно быстрый и спаммер не использует прокси-серверов, то отследить таким макаром можно, что и делают большинство антиспамовых прилад к серверам. К вопросу о серверах... Там технология такая: есть две программы. Первая - почтовый клиент, способный выслать письмо на множество адресов. Вторая - SMTP-сервер, на который высылает письма первая программа. Вторая же, в свою очередь, выступает в качестве почтового реле, и отправляет письма на другой сервер либо на несколько серверов. Я пользовал smtp.mail.ru, там в свое время антиспамовой защиты практически не было. |
| Автор: MuToGeN 23.6.2003, 14:28 |
| Еще к вопросу о серверах: Кое-где существуют блэк-листы и вайт-листы, т.е. списки доменов (подсетей), откуда письма принимать нельзя, и списки доменов (подсетей), откуда (и только оттуда) письма принимать можно. |
| Автор: Cashey 4.7.2003, 22:59 |
| Большинство спаммеров используют графику (в основном jpeg). Обращяю еще раз внимание: можно отслеживать наличие в письме графических файлов и если они не с "дружественного" адреса сразу эти письма отсеивать. Это по крайне мере решит главную проблему - загрузка спама, т.е. экономит время. ведь именно письма с графикой имеют наибольший размер. |
| Автор: Master 7.7.2003, 10:55 |
Нет. Мне в мыло очень часто приходят материалы по работе содержащие jpeg файлы  |
| Автор: B2_Russia 7.7.2003, 15:12 |
| Так, народ, может я не совсем в тему, но все же. Есть идея на счет все тойже самой нейросети или др. алгоритма с обучением. Хоть это поначалу и доставляет немного хлопот по обучению, но все же. Как вам такая идея? Кто работал с НС - тот знает, правильно построенная Нейросеть дает отличные результаты. И Второе насколько актуальна проблема СПАМА по почте в мире? |
| Автор: podval 8.7.2003, 09:59 |
| Как реализовывать - нейросеть или др. - это следующий этап. Мы пока еще даже не описали формализованно задачу. |
| Автор: amonra 8.7.2003, 10:19 |
| Все должно быть жостко четко тогда спамеры накроються магильной плитой Очень простой пример наверника (100 пудов даю) в инете исть либо какая нибуть служба или какой нибуть сервер на котором зарегестрированы большое количество самых крупных почтовых серверов так вот при получении письма надо связываться с данной службой и проверять адрес с которого был отправлено письмо если данный адрес зарегистрирован то почтовая служба пропускает письмо если нет то отправить ответ о том что на данный почтовый сервер не проходят сообщения с не зарегистрированных серверов и если вы хотите чтоб они проходили то свяжитесь с админом почтовово сервера и попросите его зарегистрировать ваш почтовый сервер в такойт о системе хотябы полгода у спамеров выйграем (а если нет такого сервера то создайте его и с вас причитаеться за идею и меня в группу разработчиков пригласите (это мои условия за идею))  |
| Автор: Master 8.7.2003, 10:31 |
| А если такого нету, то может сделать его самостоятельно. Открыть сайт. Сделать платную регистрацию email адресов с подобной защитой за 1 копейку в месяц. Глядиш и наберем на выделенную странцию через пару лет. Но за кота в мешке мы ничего не получем, так что надо искать инвесторов. |
| Автор: podval 8.7.2003, 10:42 |
| Что-то похожее есть: http://www.spamtest.ru Рекомендую также почитать там статьи. Может, вообще имеет смысл объединить усилия с этими ребятами. |
| Автор: Cashey 8.7.2003, 19:45 | ||
А мне, например, часто приходится отправлять или принимать exe или bat файлы, но сервак их рубит, поэтому их приходится зиповать (даже если это уже екзешный архив). Так и тут рабочие файлы можно зиповать, а представляешь себе рекламу порно-агенства типа "...а на наш товар можете посмотреть в прекрепленном архиве...". К тому же должна быть база "дружественных" адресов. НО ТОЛЬКО ВСЕ ЭТО ДОЛЖНО ПРОИЗВОДИТЬСЯ НЕ СЕРВЕРЕ. А то outlook сначало скачает, а потом будет удалять (я лично такого юмора не понимаю) |
| Автор: podval 9.7.2003, 15:54 |
| Метод борьбы со спамом - http://www.dialog-21.ru/full_digest.asp?digest_id=27982 |
| Автор: podval 11.7.2003, 12:21 |
| Сегодня злостный спаммер - центр американского английского - прислал очередную дурь. Но фильтр не сработал только из-за того, что большинство слов в послании было написано через пробел после каждой буквы вот так: Ц е н т р а м е р и ка н с к о г о и где-то смешанно, вот так: Ц е н тр а м е рика н с к о го. Есть идеи, как бороться? |
| Автор: DIMA.NET 11.7.2003, 16:31 |
| Удалять пробелы и (если это возможно) искать ключевые слова в одной строке! |
| Автор: Phantomouse 16.7.2003, 15:47 |
| Стоп! Но кто просит левого получателя всех этих запросов вообще отвечать на них? Можно сделать так: ID оригинала сообщения помещаем в базу на компьютере получателя, а затем посылаем запрос на адрес отправителя с содержашейся в теле письма темой оригинала и просьбой подтвердить отправку письма. Ждем три дня ( или запуска программы) и если подтверждения не пришло, то удаляем письма прямо на сервере. если подтверждение пришло - качаем их к себе и даем пользователю прочитать их. |
| Автор: Phantomouse 16.7.2003, 15:50 |
| Я имел в виду то, что получатель запросов может просто удалять письма прамо на сервере, не качая их к себе. |
| Автор: PostEr 16.7.2003, 16:28 |
Людиии!!! Может я могу чем-нибудь помочь Мне нужно на мыло чтобы паааааално спама приходило!!!! Я его проанализирую и помогу ;)) |
| Автор: &-ray 16.7.2003, 19:34 | ||
Ну это устроить просто: подпишись в инете на какую-нибудь рассылку, а лучше на десяток. Спустя время на твой адрес пойдет не только пресса, на которую ты подписался, но и спам. |
| Автор: p0s0l 16.7.2003, 23:12 |
| Я в инете бываю редко и про мыло нифига почти незнаю, но у меня (скорее всего глупая) идея: в "теме" писать какой-нибудь опознавательный код, если его в теме нет - то это спам. А этот код разослать всем от кого хочешь получать почту. Может быть даже тема д.б. = твоему адресу. |
| Автор: Phantomouse 17.7.2003, 14:46 | ||
Не обязательно удалять пробелы. Просто можно добавить еще один фильтр. Скажем отсеивать письма, в которых есть три или больше слова из одной буквы подряд. Врядли кто-то нормальный будет писать тебе письмо т а к и м о б р а з о м... К вопросу о письме-запросе и письме-подтверждении. Разрабатывая их, необходимо знать, что они должны быть ОЧЕНЬ малы, иначе администрации почтовых серверов просто не примут нашу технологию, а чего доброго еще и накостыляют :-)... Представте себе картину: Спаммер отсылает тысячу сообщений с промежутком в 1 секунду. Сервер нагибается, но не падает совсем... А теперь назад идут еще тысяча запросов. Это может просто добить сервер. А ведь спаммер не один :-). |
| Автор: &-ray 18.7.2003, 21:45 | ||
Это будет работать, если имеешь определенный круг людей с кеми общаешься. А если зарегится в каком-нить каталоге, то на мыло как правило должно приходить подтверждение, тема которого 100% не будет содержать этого кода, дак что теперь - в спам его? |
| Автор: altarasjuk 19.7.2003, 23:06 |
| У меня есть идея борьбы по собственному опыту. Намедне мой почтовый адрес использовали для отправки (извините, выругаюсь, просто достали!!!) х*ни. В аттачменте был файл (запускаемый) явно не дружественного содержания. Ну и вообщем-то мне "вернулось" эдак 10 писем. Вообщем я предлагаю такой алгоритм: Спамеры используют зачастую, как уже было замечено, чужие адреса (на этот таз мой ). Ну и вообщем - то если кому тоже вернулась такая фигня - пересылать её. И все письма данного содержания - в мусорку ещё на сервере. (в конце концов они ж не каждый час меняют текст письма). Ну вообщем-то я думаю мою идею уловили. + пытаться по сигнатуре письма определять IP, и по этому IP делать ответные действия (только сначала нужно убедиться, что это тот IP).Да и вообще: самый лучший фильтр - это отсутствие спамеров. А с ними надо бороться ихними же методами. т.е. мочить их компы, так чтобы они ...... замучались их подымать...  |
| Автор: altarasjuk 19.7.2003, 23:10 |
| и кстати по поводу ключевых слов - надо добавлять не только ключевые слова, но и самволы, которые нормальный человек писать не будет, например: ~$ вместе и т.п. И кроме того, если тема, или аттачмент, или тело письма содержит название хотя-бы одного из известных вирусов, туда же его. |
| Автор: DIMA.NET 20.7.2003, 03:36 |
| altarasjuk, сообщения с вирусами хороший почтовый сервер сам отсеивает. |
| Автор: altarasjuk 20.7.2003, 08:13 |
| DIMA.NET, mail.ru не отсеял |
| Автор: &-ray 20.7.2003, 10:31 | ||
Не хочу обидеть пользователей mail.ru, но по моему мнению - это один из самых кривых почтовых серверов, не хочет работать с другими серверами. По крайней мере так было до недавнего времени. |
| Автор: DIMA.NET 20.7.2003, 13:18 |
| altarasjuk, я говорю про ХОРОШИЕ! Тем более будут ли доходить до тебя письма с вирусами или нет должен настроить сам администратор почтового сервера. Хороший администратор должен знать, как защититься от вирусной атаки! |
| Автор: Phantomouse 21.7.2003, 15:18 |
| Вопрос: Мы собираемся только разработать этот алгоритм, или еще и воплотить его в жизнь... |
| Автор: podval 21.7.2003, 15:25 |
| Phantomouse А какой смысл в алгоритме, который пылится на полке? |
| Автор: altarasjuk 21.7.2003, 22:34 | ||
2. мысль по поводу содержимого: может имеет смысл не слова искать, а каким-то образом проанализировав ВЕСЬ текст понять рекламного характера письмо или нет. В конце-то концов зачем придуман ИИ. вот от него и исходить, только базу знаний заполнить будет ой как сложно..... |
| Автор: DIMA.NET 22.7.2003, 04:29 |
| altarasjuk, у меня адрес на почтовом сервере MDaemon 5, и до меня ни разу не доходило письмо с вирусом, только отчет о том, что в таком - то сообщении сидел такой - то вирус! |
| Автор: DENNN 22.7.2003, 09:34 |
| Сегодня самый действенный способ это наверно все же сервак, на котором есть список хостов и аккаунтов спамеров. Если доступ к такому списку может получить любой, то это затруднит спамерам жизнь. А с американским английским мои знакомые нашли свой метод борьбы: расклеили по Москве объявление о сдачи в наем квартиры на очень привлекательных условиях. Говорят что на следующий день при звонке по этому номеру они услышали раздраженно истеричный голос |
| Автор: DIMA.NET 23.7.2003, 09:07 |
| Не помню на каком сайте, я видел список часто употребляемых серверов. Двал в YAHOO antispam. Если кому интересно попробуйте! |
| Автор: podval 25.7.2003, 19:12 | ||
На стайте spamtest.ru опубликована статья http://www.spamtest.ru/varticles.html?id=0013. По-моему, весьма занятно.
Прочтите полностью. Есть хорошие идеи. |
| Автор: PostEr 26.7.2003, 12:07 |
| ^ | | Можно также элементарно заспамить любого использующего эту систему, но будет чуть сложнее - надо ещё ждать вопроса о подтверждении |
| Автор: PostEr 26.7.2003, 12:38 |
| По-моему, обсуждения на предыдущей странице наиболее близки к теме %) Я считаю, что нужно по-минимуму нагружать админов. У меня мамка админом работает, и я знаю как ей достаётся %) Есть конструктивное предложение. { Письмо от A приходит на сервер (S). S производит проверку аттачей на вирусы (всякими там касперскими, ну лучше знать тем, кто непосредственно этим занимается) + проверку на наличие в ч.списке данного адресата, Если ч.список возвращает отстутствие, то.... { Далее сообщению присваивается определённый ID, хранящийся непосредственно в теле сообщения и просьба не удалять данный фрагмент текста (можно решить по-другому, добавив в какое-нибудь поле типа "Reply-To:"). Если отправителя (сервера отправителя) нет ни в одном из списков (Ч или Б), то в текст сообщения добавляется просьба об ответе на сообщение, если оно не является рекламным. Если B создаёт ответ и постит его (необходимо делать SMTP сервер свой...) и в нём есть ID, то сервер или отправитель добавляется в белый список. Если через некоторое время после получения сервером сообщения, ответа на этот адрес не поступает - происходит добавления отправителя(адреса или сервера SMTP) в ч.список. } иначе сообщение отсылается обратно с ответом: Йохохо ублюдки! //Если вы не спаммер - вам сюда >>> Ж))) } Вот так Алгоритм является моей интеллектуальной собственностью ))) |
| Автор: PostEr 26.7.2003, 12:41 |
| Существуют и некоторые проблемы в алгоритме. Добавлять сервер\mail address или ещё чего %) ?? Это тоже может оказаться неэффективно. + SMTP& POP должны работать с одной базой данных. Smtp & POP3 взяты просто для примера, можно использовать IMAP :-D Можно вообще какой-нибудь свой протокол зафигарить, но только Чаво с ним делать? |
| Автор: DIMA.NET 26.7.2003, 18:11 |
| Как я понял, если тот, кто послал письмо, отвечает на запрос, вдальнейшем ему не будут приходить запрсы на подтверждение того, что он отправил. Или я не так понял? |
| Автор: PostEr 26.7.2003, 19:33 |
| Ты понял правильно (вроде бы ) ) То есть если ты не отвечаешь на сообщение, то ты не ведёшь переписку с этим человеком. Значит это либо спаммер, либо недоброжелатель Надо отметить, что нет универсальных алгоритмов, как нет алгоритмов и идеальных! |
| Автор: PostEr 26.7.2003, 19:44 |
| Есть ещё одно предложение! В наше время защитой от спама не удивишь, а посылать\получать приходится порой файлы и около десятка мегабайт. С российским дилапом - это садомазохизм! Что если для получения таких сообщений использовать временный ftp-сеанс, а почтовый клиент типа регета? После попадания на сервак почты сообщения, проверяется его размер. Скажем если больше 500 кб, то переходим к "2".Илли скажем если вся inbox-почта превышает допустимый размер (скажем 1 метр), то сжимаем zip'ом, и удаляем файлы и переходим к "2". "2": Создаём временную директорию на винте типа ./inbox/temp/43453453656857867.230703 и посылаем адрес почтовому клиенту, а в это время директория становится доступной по ftp. Идёт скачивание ... После окончательного скачивания происходит пересылка некоторого флага серваку, он проверяет всё ли так и удаляет эту директорию. ........................................................................................................................................................... Отправка должна представлять из себя примерно тоже самое, только ftp позволяет "подзакачивать" ---------------------------------------------------------------------------------------------------------------------------- На сервер будет больше нагрузка, но в век ИТ... А потом открываем офигенный сайт типа RePOST-Mail System.... И стрижём бабки на продаже анти-спамной + подкачивающей системе %) Удачи ! Бизнесмены |
| Автор: Wowa 27.7.2003, 16:50 | ||
Выделенные линии очень сильно развиваются даже в России. Думаю, что если так развитие пойдет дальше, то через пару лет проблема обрыва связи на диалапе даже в России уже никого волновать не будет. И все же, давайте в этой теме обсуждать алгоритмы определения спама. А в соседней теме, если кто желает - может изложить свои мысли на другие пусть и схожие темы. |
| Автор: PostEr 27.7.2003, 19:58 |
| Admin ;) Никто не против! |
| Автор: Phantomouse 28.7.2003, 17:05 | ||
Я не про это. Я имею в виду то, что наше дело закончится на разработке алгоритма, или мы будем сами создавать систему как программу? |
| Автор: DIMA.NET 28.7.2003, 17:24 |
| Phantomouse, написание программы всегда сопровождается предварительным обсуждением её функций и возможностей. Чаще придумать алгоритм бывает сложнее, чем написать саму программу! Или я не прав??? |
| Автор: podval 28.7.2003, 18:00 |
| Phantomouse Я думаю, тут будет не совсем алгоритм, а сначала некая идеология/концепция построения антиспамной системы, а затем уже совокупность алгоритмов ее работы. А почему бы их не имплементировать потом в софт? |
| Автор: PostEr 28.7.2003, 19:59 |
| Я не понимаю что за спор? Действительно надо сначала обсуждать: 1. Особенности и цели 2. Алгоритмы и их особенности 3. Программирование алгоритма и особенности этого программирования На основе 3 пункта, 1 и 2 будут обсуждаться в дальнейшем не однократно! если уж и делать проект, то давайте откроем домен на h10 халявный, туда зальём форум и будем там всё обсуждать Может сторонние посетители смогут помочь? )) |
| Автор: PostEr 28.7.2003, 20:14 |
| Рекомендую взглянуть http://metamal.com/articles/antispam. Там почти мой алгоритм ;) Другое дело, что можно создать свой почтовый сервак и свой почтовый клиент с несколькими видами дизайна (the bat или outlook expr.) со сменой скинов. Моя золотая мечта - чтобы ничего не надо было скачивать Так можно сделать клиент, который вывыодил мессаги (их темы только), лежащие на серваке, а юзер по выбору тыкал для аплода |
| Автор: stab 29.7.2003, 14:23 | ||
это и в бате уже можно... |
| Автор: PostEr 29.7.2003, 15:10 |
| ну и что? А где это сделано нормально? |
| Автор: PostEr 29.7.2003, 15:10 |
| Это нам, программерам, прикольно всякие telnet'ы запускать, да пол дня конфиги менять, а юзеру нужен ДИЗАЙН + ОТЛИЧНАЯ СПРАВКА!!!! |
| Автор: PostEr 29.7.2003, 15:28 |
| Домен зарегистрирован: FTP: spamu-net.h10.ru login: spamune7 password: pPI5WSMK |
| Автор: Phantomouse 29.7.2003, 15:39 |
| Когда дело дойдет до самого софта, считайте что я изъявил желание присутствовать в команде девелоперов. Кстати говоря, идея про почтовый сервер - это действительно идея ))). Но предлагаю сначала заняться программой-клиентом типа аутлука, чтобы найти спонсоров на покупку этого сервера ))). |
| Автор: Phantomouse 29.7.2003, 15:42 | ||
С целями думаю мы уже разобрались... Значит надо переходить ко второму пункту... Какие будут конструктивные предложения? ) |
| Автор: stab 29.7.2003, 16:01 |
| По принципу работы антиспам ситемы можно поделить на два типа: 1. Создание списка ограниченного общения. 2. Создание систем подтверждения. минусы: 1. Сужает круг общения. 2. Требует вмешательства отправителя. плюсы: 1. 100% гарантии жизни без спама. 2. Возможность общения с незнакомыми людьми. пути обхода: 1. Нет. 2. Автоматизации подтверждения. При известном алгоритме подтверждения очень просто сделать автоматизацию. анализ: Системы комбинируют оба подхода. Слабым местом является часть реализующая подтверждения. прогноз: Когда антиспам создаст реальную угрозу спамерам те будут предпринимать попытки автоматизировать подтверждения, что приведет к более сложным системам подтверждения, что в свою очередь создаст большие неудобства конечному пользователю. выводы: можно создать надежную систему антиспама ценой уменьшения свободы общения и создания неудобств при общении. |
| Автор: podval 29.7.2003, 16:03 | ||
| Давайте, ребята, пойдем по классическому пути. Т.е. в соответствии с этапами жизненного цикла от разработки концепции до реализации. Давайте возьмем небольшую паузу и подумаем над такой глобальной и стратегически важной вещью, как концепция разрабатываемой системы борьбы со спамом. Этой концепции будет подчиняться весь дальнейший ход наших мыслей и действий. Возможно, кто-то уже высказал здесь эту главенствующую идею. Надо только ее конкретно сформулировать. Кстати
|
| Автор: Phantomouse 29.7.2003, 16:38 | ||
И у тебя есть идеи по поводу этой самой концепции? |
| Автор: Phantomouse 29.7.2003, 16:49 | ||
А можно просто не заводить мыльник, или раздавать его адрес только близким друзьям (ведь он не просто так попадает в базу к спаммерам). Но зачем тогда такая система? Это как резиновое изделие номер 2 )... Вроде без него опасно, но с ним не удасться почуствовать всю полноту ощущений.... Так и ХОРОШАЯ система должна давать пользователю свободу при надежной защите, причем он должен даже не подозревать об этом... Вывод: подобно известной всем технологии защити от нежелательной беременности, надо пытаться обрывать спаммерские сообщения еще при отправлении (но как?) или убивая спаммеров (не в прямом смысле), даже не сообщая об этом пользователю... Чтобы он забыл про слово СПАМ. Теперь такой вопос. Спаммеры научились создавать темы сообщений таким образом: Re: Hi!. Т.е. неподготовленный пользователь может подумать, что он действительно получил ответ от кого то из друзей. Значит спаммерам не надо будет даже париться с подтверждением... достаточно будет просто посылать за первой волной (спам) вторую (ложные подтверждения), но это только в том, случае если будет раскушен алгоритм... Вот и новый шаг - а как защититься от этого? |
| Автор: PostEr 29.7.2003, 18:15 |
| Убивать мужчин?? )) А нельзя кнопочку добавлять к каждому сообщению - В чёрный список. А тупым неопытным юзером на почтовике и везде (вплоть до клиента) твердить о том, что и как. Но попробуй такую вещь проделать! Возьми базу адресов и забомби её Re: Hi! )) А потом ещё и ответы нашли всякие!!!Можно сделать самообучающийся алгоритм подтверждения. Делатьих таким образом, чтобы уже пользователь "нашей" системы, непосредственно, не знал об этом! То есть вся переписка переделывается в html, а там добавляются скрытые поля и что-нибудь такое невидимое Там же хранить инфу о переписке какую-нибудь. Я же предложил что: без вмешательства пользователя - если переписка продолжается, то... Но действительно можно сделать "липовые" подтвержения... А что если поступить следующим образом: если переписки никогда с этим челом не было, то в мессаг написать крачным, полужирным 38-м в самом верху: вы с ним никогда не вели переписки! И набор кноп.: в ч.список, сообщить админу и т.п. Естесно, чтобы всё это было удобно пользователю... Другой подход. Он очень банален, но что если?! Сервак мэйловый, где спам фильтруют люди? Скажем сделать его платным. То есть ты открываешь там ящик вполне прриличный, с набором имён и пр., + абонентская плата... Но больно много людей надо и клавиатур %) А ещё им надо платить. -------------------------------------------- Есть предложения по "моему" алгоритму? -------------------------------------------- Сейчас ящиком с защитой от спама не удивишь, а вот что дальше? Нужны дополнительные сервисы (не количество, а качество), нужно службу поддержки нормальную (пример тому яндекс - там админы отвечают на письма втечение нескольких часов, в отличие от всяких mail.ru, land.ru и тп). Нужно добавить различные услуги типа отправка новостей на ящик (сервером естественно - и никаки левых рассылок), всякие побрякушки, т.к. вся переписка хтмльная... Чтобы веб-интерфейс для почты ничем не отличался по возможностям от клиента, а точнее наоборот - клиент от веб....... -------------------------------------------- И всё-таки нужно сервис делать по-надёжнее чем дивайсы, о которых было написано в предыдущем сообщении... |
| Автор: PostEr 29.7.2003, 21:08 |
| Bayesian Engine for Spam / Non-Spam Detection Bayesian support within the new Spam Filtering system has been completed. Bayesian classification is a mathematical process whereby machines can actually learn. Through repeated exposure to known samples of spam (and non-spam) Bayesian enabled software can learn to recognize patterns. Over time, Bayesian classification techniques grow more and more reliable. MDaemon supports Bayesian classification through its incorporation of the SpamFilter heuristic software and through use of a "learning" program that is used to rapidly process and index spam and non-spam sample messages. The learning tool, SA-Learn, will be executed by MDaemon at midnight each night. The tool will examine the content of a "known-spam" folder and a "known-non-spam" folder. You provide the folders and the content. Since the Bayesian results improve over time the scoring tends to get more and more accurate. SA-Learn trusts that the messages you feed it really and truly are spam and/or non-spam. It takes your word that the input data is accurate. Here's what you should do: Go to the Spam Filtering|Bayesian tab and use the "Pub Folder" buttons to create two public folders - one for false negatives (messages that should have been flagged as spam but weren't) and another folder for false positives (messages that were incorrectly flagged as spam). Make these folders accessible to all your IMAP users. Now, instruct your users to place copies of any false positive or false negative messages that they receive into these public folders. MDaemon will process them through the learning tool at midnight each night. After processing, these messages are automatically deleted. PS Как вам такое?? ----------- взято с http://www.mdaemon.ru/ |
| Автор: Phantomouse 30.7.2003, 14:02 |
| Пример реализации того, что мы ищем нам подсказывает сама природа. Вспомним школьный курс биологии… Клетка. Ее мембрана свободно пропускает воду, питательные вещества и кислород. Но она задерживает многие вредные газы. Лишь микробы способны проникнуть сквозь нее, но внутри его ждет фагоцитоз. Стоит заметить, что сама по себе мембрана не мешает, а даже помогает клетке общаться с миром :-). Вот к такой системе нам и надо стремиться. А для этого на мой взгляд нужно в первую очередь подумать, а не тупиковая ли та идея, тот алгоритм от которого мы оттолкнулись. Не приведет ли она нас к ограниченности общения| Я думаю, что надо попытаться начать с нуля (полного нуля) и разработать принципиально новую программу, а не двигать уже устаревшие и выработавшиеся механизмы. |
| Автор: PostEr 30.7.2003, 17:52 |
| Phantomouse, я с тобой согласен. Необходимо что-то принципиально новое!!!! Новый протокол, новые принципы, возможно новая сеть. А что если действительно организовать MailNet? Ж) |
| Автор: Phantomouse 31.7.2003, 14:33 |
| Итак... Есть идеи по поводу основы такой сети? |
| Автор: PostEr 31.7.2003, 14:39 |
| Идей у меня пока нет. Но.. |
| Автор: PostEr 31.7.2003, 14:43 |
| Я вот никак не пойму как POP3 работает. То есть рфц я посмотрел, но не пойму, как сделать сервак поповоский? Может нужно за основу брать уже что-то сделаное (поп3, imap), но делать это заново? То есть использовать те же принципы, но делать тоже самое с нуля? |
| Автор: Phantomouse 31.7.2003, 15:08 |
| Я думаю, именно так и надо делать... Но фильтры нужно включать как на стороне сервера так и не стороне клиента... И вообще, можно первое время вообще не пускать в эту сеть внешние письма... Тогда мы сможем отслеживать спаммеров внутри сети... Ну а потом, просто поставить фильтрацию и пустить внешние письма внутрь... тогда кто захотел безопасности, с нами... А кто нет просто сможет общаться со счастливчиками ))) |
| Автор: PostEr 31.7.2003, 15:17 |
| )) Согласен, но ты меня чуть не грузанул )) |
| Автор: MuToGeN 21.8.2003, 13:16 |
| http://www.downloads.ru/news/antispam.hts |
| Автор: stab 27.8.2003, 23:16 | ||
тупо как-то при большом объеме писем вероятность совпадения по размеру текста очень большая.кроме того метод приведет к централизованной обработке писем (в этом случае он должен быть, по словам автора, особенно эффективен ), а это не есть гуд. Интернет разрабатывался как децентрализованная система... |
| Автор: NightGoblin 5.9.2003, 01:41 |
| Не знаю, может кто-то уже это и предлагал, но у меня времени читать все не хватило. Почему не сделать на каждый емаил список разрешенных адресов, плюс определенную тему, с коротой почта будет приниматься отовсюду. Например, у меня так и сделано, единственное неудобство - нет удобной утилиты конфигурирования, приходится лазить через браузер, ну да по-другому в данном случае и никак - сервер не мой. В случае, если спамеры начинают присылать письма с этой темой, тему можно в любой момент поменять. К слову, ни одного письма, которое я бы тут же удалил (кроме ошибок с сервера), мне не приходило с февраля этого года, когда я этот фильтр поставил. Конечно, некоторые неудобства существуют, но их можно обойти тоже. А вообще самый хороший способ защититься от спама - не раскидываться своим мыльником, особенно на сомнительных сайтах и форумах... |
| Автор: IZ@TOP 5.9.2003, 13:51 | ||
Да ... меня больше всего убило дополнение к статье
Тут кто то сказал на счет того что mail.ru фиговый сервак ... не согласен, у меня там мыло которое я всегда использую, и у спамеров мой мыльник давным-давно есть, но больше одного-двух спам-писем в неделю, мне не приходит |
| Автор: Гость_Серго 5.9.2003, 14:06 |
| Майл.Ру использует фильтр http://www.spamtest.ru, который фильтрует в том числе и по лингвистическим сигнатурам письма. |
| Автор: NightGoblin 6.10.2003, 09:31 | ||
Кстати, "письма рекламного характера" - очень размытое понятие. Понятно, что "Заработай $1,000,000,000,000 не выходя из дома" - реклама, а как насчет чего-нибудь в плане:
ну и тому подобное... То есть даже если будет анализировать интеллект (неважно, искусственный или нет), он с большой долей вероятности такое пропустит. А мне такое приходило раньше, и не раз... Я поначалу думал даже, что где-то что-то глюкануло и мне пришло чужое письмо. А если пытаться отфильтровать и это - начнутся ложные срабатывания, которые навредят еще больше, чем сам спам... То есть, имхо, тут надо анализировать не содержание, а именно на уровне символов... |
| Автор: _Rich_ 16.10.2003, 16:45 |
| Совершенно согласен с NightGoblin. Мне в последнее время приходит по нескольку писем такого рода в неделю. |
| Автор: stab 17.10.2003, 11:34 | ||
а мне по 20-30 в день |
| Автор: maxim1000 17.10.2003, 11:44 |
| сегодня моему одному из наших сотрудников пришел спам вот в таком виде: пустое письмо с прикреплением, в прикреплении - gif, в gif'е - текст рекламного содержания вот и пиши после этого лингвистический анализатор...... |
| Автор: NightGoblin 18.10.2003, 06:33 |
| maxim1000, а сабж какой? Может, по сабжу в таких случаях можно вычислить? |
| Автор: stab 18.10.2003, 07:15 |
| NightGoblin, а сабж, поди, "привет! давно не виделись..." |
| Автор: NightGoblin 19.10.2003, 07:21 |
| Хм... В таком случае, похоже, придется еще и распознавалку текста впихивать.... Чувствую, если этим заняться, в результате получится нечто ужасающее... |
| Автор: Wowa 19.10.2003, 18:15 | ||
Это и будет спамом будущего. |
| Автор: frost 20.10.2003, 08:37 |
| Уважаемые товарищи, я серьёзно в этом не разбираюсь, но по-моему тут промелькнула одна интересная мысль... что спаммеры (или лучше с одной "м"?) никогда с одного адреса много не посылают... Это и естественно - засекут и выгонят или применят законодательство, в общем - поймают за руку. Поэтому они адресочки-то и бросают. Так вот. Если эти адресочки быстро удаляются, это и есть необходимая система подтверждений. И сравнительно очень быстрая. Хорошим тоном станет посылать письма с правильным обратным адресом, а спаммерам ничего не останется, как его верно не указывать. И они сами сведутся на void. На сервере скапливаются письма, робот их передерживает нужное время и проверяет существование обратного адреса. Если он накрылся, письмо удаляется. А если совместить с белыми списками, срочные письма будут приходить без проверки, так что проблем с передержкой не возникнет. Ну как? Имеет эта идея хоть какое-то отношение к реальности? |
| Автор: stab 20.10.2003, 11:30 |
| на сколько я знаю обратный адрес можно любой указать, так что простейший путь получения обратного валидного адреса -- это указание адреса из списка рассылки. |
| Автор: frost 20.10.2003, 11:58 |
| Серьёзно, может быть можно как-то использовать то, что спаммеры скрывают свой настоящий лицо?.. |
| Автор: PAC-MAN 12.12.2003, 01:52 |
| Интересное обсуждение я сам думал над этой проблемой. 1. На самом деле прога фильтрации должна обеспечивать высокую степень как защиты от спама, так и защиту нормальных писем от пометки их как спамерской 2. У каждого мейлаккаунта спам свой (у меня 2 старых ясчика, на каждый приходит разный спам, одинаковый спам приходит в разных объемах, например на один приходит по лекарствам и всяким антивирусам а на другой по менеджменту и продажам). 3. спамеры могут слать письма с "хорошего аккаунта" и пометив его в онлайновой базы как "плохой" вы лишаете как минимум одного юзера услуг. (все благодаря дырявому SMTP) 4. любое подтверждение письма есть индикатор того что мыло работает, кроме того не обеспечивается защита от вирей собирающих списки хороших мыл (Sobig например формировал такие листы) НО, как мне кажется, защита есть - фильтрация по Бейетсу (http://klirik.narod.ru/usefuls/bayesyan.htm) дает неплохие результаты 99,7%. к томуже несуществует ниодной полнофункциональной проги работающей по этому алгоритму, просто технология очень новая, но оч перспективная. кроме того фильтрация должна идти по заголовку, по теме, по размеру картинок (по мере накопления данных она будет учится). на серваке можно организовать базу на каждый адрес, и предоставить разную степень фильтрации (за разную плату), т.е. большая степень защиты - больше рассматриваемых токенов - больше цена. предлагаю следующий план реализации: 1. пробная прога на основе аутглюк или бат (с целью - не писать поддержку смтп, поп, телнет и проч., а сосредоточится на проге) с целью установить точность данного алгоритма, особенности работы, уровень точности (может вообще проводиться локально на основании текстовых\смешаных файлов, или иметь две базищи - одна хорошие другая плохие письма). 2. написание пробный сервера\плагина к серверу который будет все письма фильтровать и производить какоето действие (скалывать в папку, фильтровать повторно с повышеной точностью и т.д.). с целью - замер скорости, объема БД, эффективности от изменения точности. 3. уточнение состава задач, состава операций\функций, разработка общей модели взаимодействия\передачи. 4. определение состава требований к тех. средствам передачи данных. определение структуры системы передачи данных (пакетный диалоговый ...), определение предоставляемых сервисов (например 500 токенов - 1р, 1000 - 3р ...., 2000 токенов + фильтрация по размерам картинок - 10р.) P.S. хотел сам написать но времени не имею , а алгоритм бейетса хорошая штуковина, и проблемы с т ра н но на пи сан ых с л о в в ней решаются автоматически, как и лингвистический анализатор, как и анализ скрытого текста, но проблема трафика не решается естесна т.к. чтоб анализировать письмо нужно получить.P.P.S. ИМХО за статическим анализом будущее. |
| Автор: dr.ZmeY 15.12.2003, 22:41 |
| Про 99,7% ты конечно загнул, но процентов 90 - это правда... Помимо лингвистического анализа, плагин создаёт словарь, на основе "спамовых" писем, который постепенно расширяется, и письма с похожим содержанием уже не доходят, они удаляются ещё на сервере..., правда это у них несколько криво реализовано... Так вот, мне кажется программа должна состоять из двух модулей, один из них находится на сервере, а другой у клиента, клиент составляет подобный словарь... и отправляет его на сервер (точнее не весь, это может быть много... Словарь клиента растёт, а на сервер отправляется обновление)... вторая часть плагина, на сервере отсеивает спам по обновлённому словарю и отправляет остальные "здоровые письма" клиенту, а спам удаляет... Если спам просочился, клиент его помечает, и информация в словаре обновляется... в следующий раз письмо подобного содержания уже не дойдёт... Параллельно идёт и лингвистический анализ... В итоге получаем систему, которая и трафик уменьшает... |
| Автор: PAC-MAN 16.12.2003, 23:17 |
| уху, тока шняга может получиться, надо же гарантировать что нужное письмо не убьется -> мож на серваке грохать только то что помечено как стопудовый спам, а об остальном хотябы извещать получателя? 99.7% - это експирименть, такой - 2000 писем спамных и 2000 нормальных, ну воть и получили эти 99.7%, хстати на серваке можно вести объединеную статистику - по всем спамным письмам всех ясчиков |
| Автор: MuToGeN 17.12.2003, 10:18 |
| Насчет проверки обратного адреса... Еще в SMTP существует такая фишка, как VRFY. Только не все сервера ее поддерживают. |
| Автор: dr.ZmeY 18.12.2003, 21:15 | ||||
Разумеется, рейтинговать письма по "СПАМНОСТИ", письма с рейтингом ~90% - убиваются прям на серваке, остальные пересылаются юзверю... Если среди них есть спам и он его метит (как в the Bat, отправляет в папку "спам"), то эти письма анализируются по разным параметрам: лингвистическому, скриптовому, прикреплённым файлам, сабжу и т.д... Данные заносятся в словарь и при следующем коннекте обновление словаря отправляется на сервер... Очень важно, чтобы пользователь сам решал, что для него является спамом, а что нет... Может кому-то нравится получать рассылки с адульт-сайтов и потирая мозолистые ручонки тыкать по ссылочкам...
Этого не надо делать... Представь, ты мне отправил с винградовского сервера мыло, и вдруг, какая-нибудь фигня в Германии, наводнение, гроза... сервер на пару часов в ауте, ответа мой сервер не получил... я не получаю этого письма и мыльник твой заносится в базу спамерских... Мыльник вообще нельзя в словарь плагина вводить, т.к. многие спамеры используют чужие мыльники для рассылок... Сам так делал, и MuToGeN, вроде тоже... |
| Автор: podval 30.12.2003, 20:52 | ||
http://www.webplanet.ru/news/internet/2003/12/26/microsoft_spam.html |
| Автор: dr.ZmeY 31.12.2003, 00:35 |
| ИМХО - это ерунда, мелкософты хотят заниматься саморекламой... эту ерунду обойдут быстро... |
| Автор: dm9 5.1.2004, 15:15 |
| Вот наткнулся... Сам, честно говоря, не читал. Может, найдёте что полезное. Плюс много ссылок в конце статьи. http://bio.fizteh.ru/student/diff_articles/no_spam.esp |
| Автор: Jey_k 9.1.2004, 18:22 |
| Уважаемые коллеги,тема моего диплома вскользь касается обсуждаемой проблемы а именно поиск того чьи критерии нельзе жестко задать машине поэтому для таких вещей создаются либо нейросети либо нечеткие системы сканирования, другими словами нужно определять мнимые разграничения спама от неспама. В дипломе есть параграф о поисковой системе с семантическим подходом т.е. поиск по смыслу а не по совпадениям символов. Я это реализовывал с помощью контрольного суммирования искомых фраз,по выведенной формуле рассчитывал доверительный интервал,т.е. диапазон значений контрольной суммы попадание в который означает смысловое соответствие, потом сканировал текст участками и проводил проверку попадания значений в этот диапазон. Работает прекрасно, эту систему ставят где-то в министерстве обороны как поисковик. Может и со спамом так получится? :-)  |
| Автор: PAC-MAN 11.1.2004, 01:06 |
| Что за бред?! мелкомягкие делают ФИГНЮ! |
| Автор: PAC-MAN 11.1.2004, 01:18 |
| ну дык, спам не поиск слова могут меняться, к тому же токен это буквы и их сочетания, что и есть слова. А расчитывание суммы слов в тексте и сверка их попадания и есть статический анализ. С другой стороны неализовать семантический словарь еще никому не удалось (и не удастся в ближайшем будущем) поэтому полноценный ИИ например создать так и не удалось никому. Построение неийронной сети не считаю нужным так как ее надо учить а спам меняется периодически. |
| Автор: Jey_k 11.1.2004, 13:11 | ||
Можно брать в качестве эталонов не слова а лексические обороты которые в спаме довольно похожи а без словаря никак не обойтись машина должна на чем-то учиться |
| Автор: PAC-MAN 11.1.2004, 18:29 |
| не это все лишняя надстройка - ИМХО. Мы говорим об одном и том же, словарь то ведь не семантически. Просто разные детали. И еще кстати к сведению: "По рзелульаттам илссеовадний одонго анлигйсокго унвиертисета, не иеемт занчнеия, в кокам пряокде рсапожолены бкувы в солве. Галвоне, чотбы преавя и пслоендяя бквуы блыи на мсете. Осатьлыне бкувы мгоут селдовтаь в плоонм бсепордяке, все-рвано ткест чтаитсея без побрелм. Пичрионй эгото ялвятеся то, что мы не чиатем кдаужю бкуву по отдльенотси, а все солво цликеом." я так понял что такой текст анализатор фраз пропустит потомучто у него таких просто нет, а если письмо только из этого и состоит то надо присвоить ему статус непонятного, тогда и фразовый и статический анализатор сработают одинаково, если же он делает выборку в плохом письме по часто встречаемся словам а потом анализирует на основании этого письма и выдает результат то он не отличается от статического анализатора, оба подхода требуют получения письма для анализа, короче тоже самое тока сложнее ИМХО. НО, он может дать выше точность потомучто ловит обороты т.е. изначально количество комбинаций меньше (хорошо это или плохо?), хотя ... стат анализ ведь считает количество слов и ему пофиг что в заголовке стоит изначально хорошая фраза "Привет как дела" и он устойчивее, например: слово "виагра", при комбинациях мы получим "купите виагру", "предлагаем виагру", "виагра скидки", "* виагра", "1. виагра", "дешевая виагра" .... пока он не дойдет до того что нужно ловить слово, а при статическом мы получим что при любом написании фразы или порядка слово будет учтено. к тому же стат может быть полезен потому что будет также анализировать дополнительно еще и заголовок письма, а там фразы особо не построишь. Если брать за основу фразы - несколько комбинаций групп символов между знаками ограничителями типа " " то какую мы получим скорость работы анализатора для большого письма/большого количества писем и какую точность он нам даст? Плиз, приведи доводы. |
| Автор: PAC-MAN 11.1.2004, 18:34 |
| кстати если например данный юзверь должен получить письмо со словом виагра то стат анализ может его ухлопать (если письмо из одного слова), це довод. А если мы введем еще и анализ заголовка то мож и пропустит |
| Автор: Phantomouse 13.1.2004, 15:24 |
| Проблему эту нужно решать на уровне почтового сервера. нужно блокировать отправку скажем пятого письма с одного адреса за минуту, так как это стопроцеентный спам. И т.д. |
| Автор: maxim1000 13.1.2004, 17:53 | ||
не факт вот, например, есть группа в институте, староста посылает всем какое-то сообщение 20% студентов это сообщение не получат... |
| Автор: podval 22.1.2004, 10:34 | ||||||
| На сайте www.spamtest.ru опубликован аналитический отчет http://www.spamtest.ru/analytics/resume2003/index.html. Некоторые выдержки:
И самое интересное:
|
| Автор: PAC-MAN 23.1.2004, 20:29 |
| т.е. не анализирует послание а например сморит чередование и порядок символов типа латинские - русские? |
| Автор: podval 23.1.2004, 21:54 | ||
Я так думаю, это один из этапов лингвистического анализа. |
| Автор: shedon 24.1.2004, 02:03 |
| По-моему все эти методы лингвистического анализа, не дадут нормального решения данной проблеммы, спамеры будут предумывать всё более изощрённые способы маскировки, главное должно быть сделанно со стороны провайдеров и ужесточения наказания за спам(вплоть до лишения свободы), во всех странах, особенно юго-восточной азии, т.е. провайдеры должны следить, чтобы через их каналы спам не проходил, а если прходит, то к этому провайдеру должны быть предъявленны обвинения, с лишением лицензии, наложением штрафов, а если они действовали со спамерами в зговоре, то и лишение свободы. |
| Автор: Wowa 24.1.2004, 04:35 |
| Провайдер не может все предотвратить, поэтому наказывать надо не его, а спамера, в то время, как провайдер должен помочь поймать спамера. |
| Автор: Sardar 1.2.2004, 02:22 |
| Инетерсно, а вот как поймать такое письмо, которое очень напоминает регистрацию на сайте. Мне иногда вот такое приходит: Вы зарегистрированны на <...>, ваш логин:<...>, пароль:<...>, теперь вы можете ... - далее реклама. Тут никакой лингвистический анализ не поможет, уж лучше я рекламу прочту чем важная инфа пропадет. |
| Автор: dr.ZmeY 1.2.2004, 15:37 |
| Один раз пометить это письмо как спам, чтобы потом плагин отлавливал его клоны |
| Автор: XClan 5.2.2004, 16:38 |
| А что если написать модуль к почтовым программа для обычных пользователей! Чтобы если пользователь понял, что это спам , жмет на одну кнопочку - в результате , смотрим на исходный текст строку типа : Received: from [112.181.26.26] (account [email protected] HELO webmaster2), то берем значение @chat.ru и шлем обратно, но админу почтового сервера по заданному типа из списка root@$getMail, antispam@$getMail, webmaster@$getMail извещение о том , что Кто-то послал спам по адресу $fromMail прошу разобраться! Уверен, админы в черный список поставят список этих спамеров в файревол! Либо просто заблокируют мыло! Кто его знает , может это не выход... |
| Автор: Butuzov 11.3.2004, 14:36 |
| В ближайшем будущем предстоит делать подобную систему. Правда задача немного другая - не допустить что б пользователь разослал спам. реализация в следующем виде - есть база спам мейлов и при попытке отослать регулярами сверяется наличие слов, если наличе слов превышает допустимый уровень - данное письмо считается спамом. такая реализация уже существует www.jangomail.com думаю - хоть и не надежная система (но в данном контексте это не надежно для всех предложеных способов) но все же ... |
| Автор: Wowa 28.3.2004, 01:22 |
| Butuzov, интересное у тебя решение. Предлагаю свое решение: Есть некоторый сервер, на котором хранятся учетные записи разных владельцев емаилов. И в каждом этом аккаунте есть список мыл, с которых можно получать почту. Т.е. заносишь емаилы друзей, фирм каких-нибудь в этот список. И при получении почты почтовой программой, программа связывается с нашим сервером, проверяет есть мыло отправителя в списке разшенных и тогда доставляем сообщение. В противном случае возвращает его обратно и пишет: "Антиспамовая защита Vingrad". Если Вы хотите, чтобы отправитель получил Ваше письмо, то он Вас должен авторизировать. Главное - это сделать так,чтобы запрос на авторизацию ОЧЕНЬ легко подавался, и АВТОРИЗАЦИЯ также очень легко производилась. |
| Автор: Royan 1.4.2004, 16:37 |
| Друзья Позвольте я вставлю свое робкое словечко. Чтобы мои слова не казались голословными, я скажу что работаю около года в фирме, которая почти только и делает, что борется со спаммерами и входе достаточно долгих умственных мучений (4-5 весьма и весьма грамотных людей, я в их число не входил ) было рождено следующее решение (Предполагается что Вы владелец почтового сервера). Если ваш email обслуживается через POP3 то следует хорошенько подумать о то как поставить SPAM assassin(www.spamassassin.org). Это софтина, которая очень хорошо сечет спам на UNIX серверах Если ваш email обслуживается через Exchange server (очень актуально для EU, US и вообще развитых стран) то следует хорошенько подумать об использовании системы iHateSpam(www.ihatespam.net) Схема работы программы такая(и я считаю очень логичная), Есть фильтр (алгоритм работы закрыт) но принцип таков в течении некоторого времени фильтр тестировался на людях, то есть, например 100 человек в течение года проверяя почту откладывают сообщения, которые они считают спамом в папочку СПАМ. Далее этот вселенский разум был перенесен на практику и теперь уже сам механизм решал что СПАМ, а что нет. В почтовом клиенте это выглядит так: У вас есть папка SPAM, а в ней 3 подпапки: Черный список, Карантин, Белый список. Еще существует "карантинный порог" его вы выставляете сами. Например пусть это будет 100, если входящее письмо получило ранг меньше ста (ранг выставляется программой iHateSpam) то оно попадает в папку "Входящие" иначе в папку "Карантин". По уомлчанию все кто контакты из вашей адресной книги вносятся в Белый список. email адреса, находящиеся в Белом списке будут приходить в папку "Входящие" в не зависимости от присвоенного ранга Вы можете занести любой желаемый email адрес, домен или даже IP в черный список. (но последние два по-моему только на стороне сервера, а если и можно на стороне клиента такое сотворить, то версия программы будет стоить существенно дороже, аналогичная настройка доступна и для белого списка) Само собой, что все занесенное в черный список никогда не достигнет папки входящие. И даже при таких звериных проверках, пользователю все равно приходится просматривать папку "Карантин" так как вероятность попадания туда нужного письма есть! Более того программа регулярно вынуждена обновлять дефениции (правила по которым определяют, что является СПАМом) так как хитрые спаммеры все время что-нибудь да меняют в своих пиьсмах и туповатый мозг программы перестат подчиняться здравому смыслу. Откуда вывод что писать "свое" в надежде что оно будет лучше дело не благородное, лучше, а главное дешевле воспользоваться и внедрить у себя на сервере например SPAM Assassin, который бесплатен. Все выше сказанное сугубо мое личное мнение, которое у меня сложилось в результате последних 5 месяцев, когда вопрос о СПАМ'е встала ребром |
| Автор: MUFF 1.5.2004, 13:21 |
| 2 DIMA.NET Думаю очень сложно определить с каким интервалом отсылаются письма, это очень зависит от загруженности сети, которая изменяется очень быстро(да и скорее всего они отсылаются с разным интервалом, потому что не одни вы такие умные =) ), а если писать анализатор всех входящих IP пакетов то скорость твоего сервера значительно снизится Самый лучший вариант защиты от спама (лично я так делаю) ставите фильтры if (sender_mail == МойЗнакомый1) {recive(mail); break;} if (sender_mail == МойЗнакомый2) {recive(mail); break;} . . а последний if (sender_mail == AnyMail) {delete(mail);} и у вас никогда не будет никакого спама |
| Автор: MuFF 1.5.2004, 13:33 |
| А вапще я думаю что эта ветка форума бесполезна... Тысячи людей(умных людей) проводят тысячи опросов, анализов, собирают килотонны статистики, строят нейронные сети для отсеивания спама... дык куда нам лезть в эту область, тем более более на сайте, на катором задают вопросы типа "а как мне перевести из HEX в DEC" =)))) |
| Автор: Гость_onorua 21.5.2004, 20:55 |
| DIMA.NET Может я чего не понимаю, но не все сообщения придут тебе. В основном спамерские программы перебирают базу адресов от первого к последнему или по какому-то другому алгоритму, соответственно тебе не придет сразу 1000 сообщений, а придет 1, через час еще одно. Я так понимаю, что ты хочешь написать что-то такое что из заголовка письма берет информацию о создании, сверяет адресс не приходили ли письма с таким адресом - если нашло -> как давно, если время между первым письмом, вторым и третим - одинаковая - блокировать письма из этого адресса. В принципе неплохая задумка. Но! 1) тебе нужно будет получить как минимум 3 письма со спамом (между первым и вторым письмами - тебе несчем сверять) 2) это легко обойти. Достаточно просто вставить генератор случайных чисел, и по истечении сгенерированного чисоа секунд начинать все снова (отсылку спама). Я не уверен - но такой алгоритм вряд ли прокатит. Если я ошибаюсь - укажите где не прав. |
| Автор: bartram 14.7.2004, 10:17 | ||
Такой способ каму то поможет а каму то нет, вот например тебе шлёт письмо какой-то незнакомый человек с прозьбой о помощи (например с форума програмистов) а ты его письмо отсеиваншь как спам ! Не хорошо ! Или например с какой-то важной инфой о регистрации! |
| Автор: Shrift 7.10.2004, 13:00 |
| А давайте их пи...дить |
| Автор: Finalist 30.5.2006, 16:00 |
| Есть идея... Если подойдет, менять прийдется все!! В основе лежит алгоритм шифрования с асимитричным ключом.. у Вас есть два ключа, закрытый у вас, а открытый лежит на сервере и у того кому Вы его дали. Чел пишет Вам письмо, в теме которого указывает Ваш открытый ключ, если он верный сервер шифрует и отправляет Вам.. если нет - спам, а Вам уведоление... ключ можно менять хоть каждую неделю... по указаному сроку меняется ключ и отправляется по всем мылам в вашем белом списке... сервер кореспондента принимает ключ, и прячет гдето в себе, при отправке следующего письма, он автоматически меняется на новый.. Все довольны... но, мое дело предложить, ваше отказаться...  |
| Автор: Кнером 30.5.2006, 17:35 |
| Finalist, идея хорошая и к сожалению для вас я ее уже ранее слышал. Есть единственная проблема, для того чтобы человек смог отправить вам письмо, он изначально каким-то образом должен связаться с вами. Любым кроме почты. Потому-что в письме должен содержаться ключ. Сейчас актуально использовать графическое предстваление кода. К примеру, регистрация на форуме. Нужно ввести код который видит человек. Иначе не возможно будет зарегистрироваться. Таким образом избавляемся от ботов. Данный вариант можно использовать и для почты. Там где будет указан ваш емэйл, должна высвечиваться картинка с ключом. К примеру в анкете, на вашем сайте и т.д. Я не знаю, умеют ли уже боты считывать коды скартинок или нет. Поэтому и предложил как вариант. В место графического представления, можно использовать обычный текст. Точнее задавать вопросы. К примеру, введите год основания города Санкт-Петербург. В следующий раз выведеться другой город и т.д. Насколько эффективное решение, решать ен мне. Но бота нужно научить отвечать на вопросы. А это уже ИИ (если так можно сказать). У него должна быть обширная БД знаний. А для считывания кода не нужна никакая БД номеров. Нужно только уметь распознавать. - Самый простой вариант, это разрешить получать письма только от тех кто есть в списке. Остальное спам. Этот вариант схож с выше описанным мною. Отличается лишь наибыстрейшим способом получить разрешение на то, чтобы конечный пользователь смог получить письмо. Я лично пока придерживаюсь мнения, что использовать какие-либо алгоритмы, фильтры не стоит. Потому-что "программа" не может знать на все 100% что нам нужно. Она может воспринять важное письмо как спам. Пока я считаю лучшим вариантом использование ключа. |
| Автор: Finalist 30.5.2006, 18:08 | ||
если ему нужно отправить мне письмо.. он узнает мой адресс вместе с ключом... приходит письмо, но мой ключ уже сменился... проверка по базе старых ключей уведомит меня о письме со старым ключом.. а я уже решу давать ему новый или причислить к спаму! |
| Автор: Кнером 31.5.2006, 01:54 |
| Wowa, списки разрешенных уже существуют давно. Взять к примеру mail.ru. Обновленный вариант списков. Так как наш отправитель не является спамером, он откуда-то узнает емэйл получателя. Например, он заходит на форум Vingrad.ru, на страничку получения емэйла получателя. Там по мимо емэйла должна высветиться картинка кода. Например, Скажи спаму нет [64sdfg4s6fg87354fa6sd54f]Код может быть как программно создан так и в ручную написан. Не столь важно. Главное чтобы наш получатель внес этот код в свой фильтр. Частота смены кода будет зависить от желания получателя. Это может быть как раз в месяц, так и раз в год. Заставить каждый месяц менять пороль, это будет жестоко.  И так, наш отправитель узнал код, он указывает его в теме письма. Так как код верный, фильтр пропускает письмо. На всякий случай, можно создать некий карантин. К примеру, код не соотвествует шаблону. Тогда письмо помещается в карантин. Пользователь включает функцию получения уведомления о письмах попавших в карантин. Если вдруг письмо оказалось важным для получателя, он делает некий запрос и получает это письмо. Если получатель в течении месяца не проверял карантин, то письма из карантина удаляются. Если получатель включил функцию доставки уведомлений и не забрал письмо в течении одной недели, то письмо удаляется. Можно так же дать пользователю функцию, чтобы он после просмотра сразу сообщил, что ему не нужны письма помещенные в карантин, что они являются спамом. Таким образом письма не будут храниться лишнии дни и занимать место. Насчет ответа на зоголовки не уверен. Лишние килобайты гонять не хочеться. Просто это дополнительная нагрузка на сервер. Наверное уж лучше местом пожертвовать, чем по полной нагрузить и уйти в даун. Чем хорош карантин. К примеру, должно прийти письмо из-за бугра или про новую систему пока еще мало кто знает. Поэтому чтобы не нагружить иностранцев, пускай пишут как писали. В ответном письме можно указать один из кодов, который будет очень редко менять. К примеру раз в год. Так как код будет менять раз в год, робот (спамер) может этим воспользовать. Если придет письмо, то оно удаляется, а код изменяется. - Я пока ничего не знаю про всякие там протоколы, поэтому напишу в нескольких вариациях. В аутглюке есть такая функция замены обратного адреса. После замены все следы отправителя исчезаю или что-то остается? В действительности можно ли узнать с какого емэйла было отправлено письмо? Если можно, тогда почему не позвонят в компанию предоставляющую отправку писем. И не узнают с какого IP было отправка, потом от провайдера и так по цепочки. Да же если IP динамический, то у провайдера храниться информация с какого телефона был осуществлен вход. Если это статический, то кому пренадлежит. С квартирой все понятно. Если это было какое-то кафе, то там камеры есть. В общем как я себе представляю, можно найти и по ушам надавать. Случай из жизни. На хостинге у одного клиента было все удалено. Он с милицией дозвонился до провайдера. Провайдер предоставил всю необходимую информацию. Приехали на квартиру. Что дальше было не знаю. У человека были найдены подтверждения, что он это сделал. - Просто как вариант, если первый раз код совпал со шаблоном, занести его в список. И в дальнейшем отправителю не нужно будет указывать код. Просто я не знаю, будет отличаться заголовок письма если оно будет отправлено не хорошим человеком, а спамером указавшим емэйл хорошего человека. Если не будет отличаться, то вариант с заносом в список отпадает. Придеться все время вносить код в тему. Чтобы не утруждать нашего отправителя, можно дать функцию автоматического влючения кода в тему письма. К примеру, будет некий список получателей и у каждого будет код. Например, получатель1=[sdfg87sfd72] получатель2=[7df76668sdf688sdf69asdf78asd67] и т.д. И когда отправитель захочет написать новое письмо, в тему письма вставиться автоматически код. Да же если каким-то образом спамер получит такой список, то список очень быстро окажеться не действительным. А спамеры не захотят покупать такие списки. Потому-что будут очень большие затраты, а результата почти никакого. Как вариант, я уже предлагал в место картинок с кодом задавать вопросы. - Для тех кто получает рассылки, есть несколько вариантов. 1) Создать отдельный ящик для рассылок. Что собственно и делают умные люди. В нем отключить все фильтры. Или настроить на рассылки. Предложенный мною фильтр не включать. 2) При включенном фильтре все письма будут пападать в карантин. Без доставки уведомлений вы будете их забирать. Иначе вам будет черезчур много приходить писем. 3) В ближайшем будущем сайты рассылок должны будут включить данную функцию. При регистрации в рассылках, вы указываете код доступа. Когда надо вы его изменяете. Вот. Добавлено @ 02:02 Finalist, согласен. Про ключ я описал чуть более подробнее и с дополнением. |
| Автор: alvd 16.11.2007, 08:51 |
Предложу и своё решение, да простят меня модераторы  Мы запустили проект - почта, но на своём протоколе. Спам - теоретически невозможен. В основе лежит общая БД и знание пары "отправитель-получатель". Проект OpenSource. Регистрация автоматическая (при первом запуске), использование бесплатно. проект - тут http://www.tewek.ru/ инсталлятор - тут http://www.tewek.ru/files/tewek_setup.exe исходники - вот они http://www.tewek.ru/files/tewek_src.zip справка в картинках - http://www.tewek.ru/help.php и форум - http://www.tewek.ru/forum/ Хотя до финальной версии проект ещё не дорос, всё уже работает. Версия 1.0 будет видимо к НГ. Пока фиксятся баги клиентской части. Готовность на сейчас 98%. В серверной части всё пофиксено до 1.4 stable и уже второй месяц как живёт и не падает . |
| Автор: esperant0 27.11.2007, 14:14 | ||
это не может быть правда. Разве вы что все блокируете |
| Автор: KSURi 6.2.2008, 01:20 | ||
| Недавно в голову пришла такая мысль: создание некой "прокладки", между SMTP-сервером и отправителем, которая бы вынуждала пользователя вводить текст c captcha изображения. Таким образом, мне кажется, возможно как минимум сильно затруднить автоматизацию рассылки. Т.е. создается отдельный сервер, который выступает в роли публичного шлюза между отправителем и SMTP-сервером, а прямой доступ к SMTP запрещается с помощью фаерволла. Со стороны пользователя требуется только плагин для обработки нестандартного заголовка протокола, встроенный в email-клиент (Thunderbird подходит здесь идеально). Это выглядит примерно так:
Имеет такая идея право на жизнь?) |
| Автор: gcc 3.9.2009, 01:01 |
| KSURi, http://forum.vingrad.ru/forum/topic-271177.html отпишитесь, что всем все равно чтоли?  |
| Автор: gcc 11.9.2009, 13:22 |
| написал статью http://forum.sys-admin.com.ua/f7/zashita-ot-spama-s-pomoshueyu-captcha-dbmail-pgsql-92/ |
| Автор: Rockie 26.1.2011, 20:01 |
| Господа, добрый день! Проконсультируйте меня пожалуйста, а то мне кажется что я случайно сделал спам-машину Дело в том что я разрабытываю софтину, которая рассылает сообщения определённому списку абонентов(внешняя корпоративная рассылка). сам ящик существует и называется Administrator@домен.com. В своей софтине я могу подставлять другие адреса в поле "от кого", в моем случае я выставил [email protected] Ну и далее отлаживал работы этой программулины, послал в сумме около 5-10 писем на свои же ящики как вдруг заметил, что письма которые раньше отсылались хорошо, с мейлру стали возвращать NDR(non-delivered response). Этот NDR я вижу на почтовом сервере Exchange 2003, сам текст письма посмотреть не могу так как он возвращается в несуществующий ящик. На остальные(яндекс, гмейл) - рассылает хорошо. Вот тут и стало мне не очень по себе) из корпоративной сети на мейлру ходят нормально, но эксперименты я на всякий случай прекратил Значит ли это, что мейлру видя нессответствие между полем "от кого" и самим именем ящика, посчитал мою рассылку спамом? Будет ли считаться спамом, если моя расылка будет происходить от реального ящика(Administrator@домен.com)? Что вообще считается спамом и блокируется? Если не трудно, ткните пожалуйста носом в матчасть , так как с этой темой раньше не работал. |
| Автор: Wowa 26.1.2011, 20:12 | ||||||
вряд ли. Они блокируют АЙПИ сервера и просто не принимают почту потом с заблокированного СМТП-сервера.
Некоторые почтовые серверы обращают на это внимание, но данная методика не сильно распространена. Можешь погуглить на тему SPF DNS или тут почитать http://en.wikipedia.org/wiki/Sender_Policy_Framework
Если несколько юзеров нажмут в вебмейлку кнопку "Это спам", но заблокируется. Есть также алгоритмы отслеживающие одинаковые письма, но 10 писем это немного. |
