Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Алгоритм определения СПАМа, Давайте разработаем :) 
:(
    Опции темы
Sardar
Дата 1.2.2004, 02:22 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бегун
****


Профиль
Группа: Модератор
Сообщений: 6986
Регистрация: 19.4.2002
Где: Нидерланды, Groni ngen

Репутация: нет
Всего: 317



Инетерсно, а вот как поймать такое письмо, которое очень напоминает регистрацию на сайте. Мне иногда вот такое приходит:
Вы зарегистрированны на <...>, ваш логин:<...>, пароль:<...>, теперь вы можете ... - далее реклама.
Тут никакой лингвистический анализ не поможет, уж лучше я рекламу прочту чем важная инфа пропадет.


--------------------
 Опыт - сын ошибок трудных  © А. С. Пушкин
 Процесс написания своего велосипеда повышает профессиональный уровень программиста. © Opik
 Оценить мои качества можно тут.
PM   Вверх
dr.ZmeY
Дата 1.2.2004, 15:37 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Политолог
****


Профиль
Группа: Участник Клуба
Сообщений: 3892
Регистрация: 26.3.2002
Где: ..::STALINGRAD::. .

Репутация: нет
Всего: 60



Один раз пометить это письмо как спам, чтобы потом плагин отлавливал его клоны


--------------------
PM MAIL WWW ICQ Skype   Вверх
XClan
Дата 5.2.2004, 16:38 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 434
Регистрация: 14.10.2003
Где: Планета Сириус

Репутация: нет
Всего: 3



А что если написать модуль к почтовым программа для обычных пользователей!
Чтобы если пользователь понял, что это спам , жмет на одну кнопочку - в результате , смотрим на исходный текст строку типа :
Received: from [112.181.26.26] (account [email protected] HELO webmaster2), то берем значение @chat.ru и шлем обратно, но админу почтового сервера по заданному типа из списка root@$getMail, antispam@$getMail, webmaster@$getMail извещение о том , что Кто-то послал спам по адресу $fromMail прошу разобраться!
Уверен, админы в черный список поставят список этих спамеров в файревол! Либо просто заблокируют мыло!

Кто его знает , может это не выход...


--------------------
rm -rf /bin/laden
PM MAIL WWW   Вверх
Butuzov
Дата 11.3.2004, 14:36 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 2
Регистрация: 11.3.2004
Где: Houston

Репутация: нет
Всего: нет



В ближайшем будущем предстоит делать подобную систему. Правда задача немного другая - не допустить что б пользователь разослал спам.

реализация в следующем виде - есть база спам мейлов и при попытке отослать регулярами сверяется наличие слов, если наличе слов превышает допустимый уровень - данное письмо считается спамом.

такая реализация уже существует www.jangomail.com
думаю - хоть и не надежная система (но в данном контексте это не надежно для всех предложеных способов) но все же ...
PM ICQ MSN   Вверх
Wowa
Дата 28.3.2004, 01:22 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
Group Icon


Профиль
Группа: Админ
Сообщений: 15017
Регистрация: 14.9.2000
Где: Винград

Репутация: 1
Всего: 290



Butuzov, интересное у тебя решение.


Предлагаю свое решение:
Есть некоторый сервер, на котором хранятся учетные записи разных владельцев емаилов. И в каждом этом аккаунте есть список мыл, с которых можно получать почту. Т.е. заносишь емаилы друзей, фирм каких-нибудь в этот список. И при получении почты почтовой программой, программа связывается с нашим сервером, проверяет есть мыло отправителя в списке разшенных и тогда доставляем сообщение. В противном случае возвращает его обратно и пишет:
"Антиспамовая защита Vingrad". Если Вы хотите, чтобы отправитель получил Ваше письмо, то он Вас должен авторизировать.


Главное - это сделать так,чтобы запрос на авторизацию ОЧЕНЬ легко подавался, и АВТОРИЗАЦИЯ также очень легко производилась.
PM WWW   Вверх
Royan
Дата 1.4.2004, 16:37 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Dreamer
***


Профиль
Группа: Участник Клуба
Сообщений: 1708
Регистрация: 14.9.2002
Где: Лондон

Репутация: нет
Всего: 15



Друзья smile.gif

Позвольте я вставлю свое робкое словечко. Чтобы мои слова не казались голословными, я скажу что работаю около года в фирме, которая почти только и делает, что борется со спаммерами и входе достаточно долгих умственных мучений (4-5 весьма и весьма грамотных людей, я в их число не входил smile.gif ) было рождено следующее решение (Предполагается что Вы владелец почтового сервера).

Если ваш email обслуживается через POP3 то следует хорошенько подумать о то как поставить SPAM assassin(www.spamassassin.org). Это софтина, которая очень хорошо сечет спам на UNIX серверах

Если ваш email обслуживается через Exchange server (очень актуально для EU, US и вообще развитых стран) то следует хорошенько подумать об использовании системы iHateSpam(www.ihatespam.net)

Схема работы программы такая(и я считаю очень логичная),

Есть фильтр (алгоритм работы закрыт) но принцип таков в течении некоторого времени фильтр тестировался на людях, то есть, например 100 человек в течение года проверяя почту откладывают сообщения, которые они считают спамом в папочку СПАМ. Далее этот вселенский разум был перенесен на практику и теперь уже сам механизм решал что СПАМ, а что нет.
В почтовом клиенте это выглядит так:
У вас есть папка SPAM, а в ней 3 подпапки: Черный список, Карантин, Белый список. Еще существует "карантинный порог" его вы выставляете сами. Например пусть это будет 100, если входящее письмо получило ранг меньше ста (ранг выставляется программой iHateSpam) то оно попадает в папку "Входящие" иначе в папку "Карантин".

По уомлчанию все кто контакты из вашей адресной книги вносятся в Белый список. email адреса, находящиеся в Белом списке будут приходить в папку "Входящие" в не зависимости от присвоенного ранга

Вы можете занести любой желаемый email адрес, домен или даже IP в черный список. (но последние два по-моему только на стороне сервера, а если и можно на стороне клиента такое сотворить, то версия программы будет стоить существенно дороже, аналогичная настройка доступна и для белого списка) Само собой, что все занесенное в черный список никогда не достигнет папки входящие.

И даже при таких звериных проверках, пользователю все равно приходится просматривать папку "Карантин" так как вероятность попадания туда нужного письма есть! Более того программа регулярно вынуждена обновлять дефениции (правила по которым определяют, что является СПАМом) так как хитрые спаммеры все время что-нибудь да меняют в своих пиьсмах и туповатый мозг программы перестат подчиняться здравому смыслу. Откуда вывод что писать "свое" в надежде что оно будет лучше дело не благородное, лучше, а главное дешевле воспользоваться и внедрить у себя на сервере например SPAM Assassin, который бесплатен.

Все выше сказанное сугубо мое личное мнение, которое у меня сложилось в результате последних 5 месяцев, когда вопрос о СПАМ'е встала ребром

Это сообщение отредактировал(а) Royan - 1.4.2004, 16:53


--------------------
Открыта вакансия Junior Java Developer'а в нашем лондонском офисе, подробнее можно узнать здесь
PM MAIL MSN   Вверх
MUFF
Дата 1.5.2004, 13:21 (ссылка)    |    (голосов: 0) Загрузка ... Загрузка ... Быстрая цитата Цитата


Unregistered











2 DIMA.NET
Думаю очень сложно определить с каким интервалом отсылаются письма, это очень зависит от загруженности сети, которая изменяется очень быстро(да и скорее всего они отсылаются с разным интервалом, потому что не одни вы такие умные =) ), а если писать анализатор всех входящих IP пакетов то скорость твоего сервера значительно снизится

Самый лучший вариант защиты от спама (лично я так делаю)

ставите фильтры
if (sender_mail == МойЗнакомый1) {recive(mail); break;}
if (sender_mail == МойЗнакомый2) {recive(mail); break;}
.
.
а последний
if (sender_mail == AnyMail) {delete(mail);}

и у вас никогда не будет никакого спама
  Вверх
MuFF
Дата 1.5.2004, 13:33 (ссылка)    |    (голосов: 0) Загрузка ... Загрузка ... Быстрая цитата Цитата


Unregistered











А вапще я думаю что эта ветка форума бесполезна...
Тысячи людей(умных людей) проводят тысячи опросов, анализов, собирают килотонны статистики, строят нейронные сети для отсеивания спама... дык куда нам лезть в эту область, тем более более на сайте, на катором задают вопросы типа "а как мне перевести из HEX в DEC" =))))
  Вверх
Гость_onorua
Дата 21.5.2004, 20:55 (ссылка)    |    (голосов: 0) Загрузка ... Загрузка ... Быстрая цитата Цитата


Unregistered











DIMA.NET Может я чего не понимаю, но не все сообщения придут тебе. В основном спамерские программы перебирают базу адресов от первого к последнему или по какому-то другому алгоритму, соответственно тебе не придет сразу 1000 сообщений, а придет 1, через час еще одно. Я так понимаю, что ты хочешь написать что-то такое что из заголовка письма берет информацию о создании, сверяет адресс не приходили ли письма с таким адресом - если нашло -> как давно, если время между первым письмом, вторым и третим - одинаковая - блокировать письма из этого адресса. В принципе неплохая задумка.
Но!
1) тебе нужно будет получить как минимум 3 письма со спамом (между первым и вторым письмами - тебе несчем сверять)
2) это легко обойти. Достаточно просто вставить генератор случайных чисел, и по истечении сгенерированного чисоа секунд начинать все снова (отсылку спама).

Я не уверен - но такой алгоритм вряд ли прокатит.
Если я ошибаюсь - укажите где не прав.
  Вверх
bartram
Дата 14.7.2004, 10:17 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Комодератор
Сообщений: 1606
Регистрация: 22.2.2004
Где: Russia, Samara

Репутация: нет
Всего: 29



Цитата
ставите фильтры if (sender_mail == МойЗнакомый1) {recive(mail); break;} if (sender_mail == МойЗнакомый2) {recive(mail); break;} . . а последний if (sender_mail == AnyMail) {delete(mail);}

и у вас никогда не будет никакого спама


Такой способ каму то поможет а каму то нет, вот например тебе шлёт письмо какой-то незнакомый человек с прозьбой о помощи (например с форума програмистов) а ты его письмо отсеиваншь как спам ! Не хорошо ! Или например с какой-то важной инфой о регистрации!



--------------------
В каждом из нас спит гений, но с каждым днем все крепче ;-)
bartram.ru
Twitter
user posted image 

PM MAIL ICQ   Вверх
Shrift
Дата 7.10.2004, 13:00 (ссылка)    |    (голосов: 0) Загрузка ... Загрузка ... Быстрая цитата Цитата


Unregistered











А давайте их пи...дить
  Вверх
Finalist
Дата 30.5.2006, 16:00 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 52
Регистрация: 23.5.2006

Репутация: нет
Всего: 1



Есть идея...
Если подойдет, менять прийдется все!!
В основе лежит алгоритм шифрования с асимитричным ключом..
у Вас есть два ключа, закрытый у вас, а открытый лежит на сервере и у того кому Вы его дали.
Чел пишет Вам письмо, в теме которого указывает Ваш открытый ключ, если он верный сервер шифрует и отправляет Вам.. если нет - спам, а Вам уведоление...
ключ можно менять хоть каждую неделю... по указаному сроку меняется ключ и отправляется по всем мылам в вашем белом списке... сервер кореспондента принимает ключ, и прячет гдето в себе, при отправке следующего письма, он  автоматически меняется на новый..
Все довольны...
но, мое дело предложить, ваше отказаться... smile  
PM MAIL   Вверх
Кнером
Дата 30.5.2006, 17:35 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


тОрмоз
**


Профиль
Группа: Участник
Сообщений: 346
Регистрация: 24.5.2006
Где: Санкт-Петербург

Репутация: нет
Всего: 19



Finalist, идея хорошая и к сожалению для вас я ее уже ранее слышал.
Есть единственная проблема, для того чтобы человек смог отправить вам письмо,
он изначально каким-то образом должен связаться с вами. Любым кроме почты.
Потому-что в письме должен содержаться ключ.

Сейчас актуально использовать графическое предстваление кода.
К примеру, регистрация на форуме. Нужно ввести код который видит человек.
Иначе не возможно будет зарегистрироваться. Таким образом избавляемся от ботов.

Данный вариант можно использовать и для почты. Там где будет указан ваш емэйл, должна высвечиваться картинка с ключом. К примеру в анкете, на вашем сайте и т.д.

Я не знаю, умеют ли уже боты считывать коды скартинок или нет.
Поэтому и предложил как вариант.

В место графического представления, можно использовать обычный текст.
Точнее задавать вопросы. К примеру, введите год основания города Санкт-Петербург.
В следующий раз выведеться другой город и т.д.

Насколько эффективное решение, решать ен мне. Но бота нужно научить отвечать на
вопросы. А это уже ИИ (если так можно сказать). У него должна быть обширная БД знаний.
А для считывания кода не нужна никакая БД номеров. Нужно только уметь распознавать.

-

Самый простой вариант, это разрешить получать письма только от тех кто есть в списке.
Остальное спам. Этот вариант схож с выше описанным мною. Отличается лишь наибыстрейшим
способом получить разрешение на то, чтобы конечный пользователь смог получить письмо.

Я лично пока придерживаюсь мнения, что использовать какие-либо алгоритмы, фильтры не стоит.
Потому-что "программа" не может знать на все 100% что нам нужно. Она может воспринять
важное письмо как спам.

Пока я считаю лучшим вариантом использование ключа. 
PM MAIL WWW ICQ   Вверх
Finalist
Дата 30.5.2006, 18:08 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 52
Регистрация: 23.5.2006

Репутация: нет
Всего: 1




Цитата(Кнером @  30.5.2006,  17:35 Найти цитируемый пост)
Есть единственная проблема, для того чтобы человек смог отправить вам письмо,
он изначально каким-то образом должен связаться с вами. Любым кроме почты.
Потому-что в письме должен содержаться ключ.


если ему нужно отправить мне письмо.. он узнает мой адресс вместе с ключом...
приходит письмо, но мой ключ уже сменился... проверка по базе старых ключей уведомит меня о письме со старым ключом.. а я уже решу давать ему новый или причислить к спаму! 
PM MAIL   Вверх
Кнером
Дата 31.5.2006, 01:54 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


тОрмоз
**


Профиль
Группа: Участник
Сообщений: 346
Регистрация: 24.5.2006
Где: Санкт-Петербург

Репутация: нет
Всего: 19



Wowa, списки разрешенных уже существуют давно. Взять к примеру mail.ru. 

Обновленный вариант списков.

Так как наш отправитель не является спамером, он откуда-то узнает емэйл получателя.
Например, он заходит на форум Vingrad.ru, на страничку получения емэйла получателя.
Там по мимо емэйла должна высветиться картинка кода.

Например, Скажи спаму нет smile [64sdfg4s6fg87354fa6sd54f]

Код может быть как программно создан так и в ручную написан. Не столь важно.
Главное чтобы наш получатель внес этот код в свой фильтр. Частота смены кода будет
зависить от желания получателя. Это может быть как раз в месяц, так и раз в год.
Заставить каждый месяц менять пороль, это будет жестоко.  smile 

И так, наш отправитель узнал код, он указывает его в теме письма.
Так как код верный, фильтр пропускает письмо.

На всякий случай, можно создать некий карантин. К примеру, код не соотвествует шаблону.
Тогда письмо помещается в карантин. Пользователь включает функцию получения уведомления
о письмах попавших в карантин. Если вдруг письмо оказалось важным для получателя, он
делает некий запрос и получает это письмо. Если получатель в течении месяца не проверял карантин, то письма из карантина удаляются. Если получатель включил функцию доставки
уведомлений и не забрал письмо в течении одной недели, то письмо удаляется.
Можно так же дать пользователю функцию, чтобы он после просмотра сразу сообщил, что ему
не нужны письма помещенные в карантин, что они являются спамом. Таким образом письма не
будут храниться лишнии дни и занимать место.

Насчет ответа на зоголовки не уверен. Лишние килобайты гонять не хочеться. Просто это
дополнительная нагрузка на сервер. Наверное уж лучше местом пожертвовать, чем по полной
нагрузить и уйти в даун.

Чем хорош карантин. К примеру, должно прийти письмо из-за бугра или про новую систему
пока еще мало кто знает. Поэтому чтобы не нагружить иностранцев, пускай пишут как писали.
В ответном письме можно указать один из кодов, который будет очень редко менять.
К примеру раз в год. Так как код будет менять раз в год, робот (спамер) может этим воспользовать.
Если придет письмо, то оно удаляется, а код изменяется.

-

Я пока ничего не знаю про всякие там протоколы, поэтому напишу в нескольких вариациях.
В аутглюке есть такая функция замены обратного адреса. После замены все следы отправителя
исчезаю или что-то остается? В действительности можно ли узнать с какого емэйла было отправлено
письмо?

Если можно, тогда почему не позвонят в компанию предоставляющую отправку писем. И не узнают
с какого IP было отправка, потом от провайдера и так по цепочки. Да же если IP динамический,
то у провайдера храниться информация с какого телефона был осуществлен вход. Если это
статический, то кому пренадлежит. С квартирой все понятно. Если это было какое-то кафе, то
там камеры есть. В общем как я себе представляю, можно найти и по ушам надавать.

Случай из жизни. На хостинге у одного клиента было все удалено. Он с милицией дозвонился до
провайдера. Провайдер предоставил всю необходимую информацию. Приехали на квартиру.
Что дальше было не знаю. У человека были найдены подтверждения, что он это сделал.

-

Просто как вариант, если первый раз код совпал со шаблоном, занести его в список. И в дальнейшем
отправителю не нужно будет указывать код. Просто я не знаю, будет отличаться заголовок
письма если оно будет отправлено не хорошим человеком, а спамером указавшим емэйл хорошего человека. Если не будет отличаться, то вариант с заносом в список отпадает. Придеться все время
вносить код в тему.

Чтобы не утруждать нашего отправителя, можно дать функцию автоматического влючения
кода в тему письма. К примеру, будет некий список получателей и у каждого будет код.
Например,
получатель1=[sdfg87sfd72]
получатель2=[7df76668sdf688sdf69asdf78asd67]
и т.д.
И когда отправитель захочет написать новое письмо, в тему письма вставиться автоматически код.

Да же если каким-то образом спамер получит такой список, то список очень быстро окажеться не действительным. А спамеры не захотят покупать такие списки. Потому-что будут очень большие
затраты, а результата почти никакого.

Как вариант, я уже предлагал в место картинок с кодом задавать вопросы.

-

Для тех кто получает рассылки, есть несколько вариантов.
1) Создать отдельный ящик для рассылок. Что собственно и делают умные люди.
В нем отключить все фильтры. Или настроить на рассылки.
Предложенный мною фильтр не включать.
2) При включенном фильтре все письма будут пападать в карантин. Без доставки уведомлений
вы будете их забирать. Иначе вам будет черезчур много приходить писем.
3) В ближайшем будущем сайты рассылок должны будут включить данную функцию.
При регистрации в рассылках, вы указываете код доступа. Когда надо вы его изменяете.

Вот.

Добавлено @ 02:02 
Finalist, согласен. Про ключ я описал чуть более подробнее и с дополнением. 
PM MAIL WWW ICQ   Вверх
Ответ в темуСоздание новой темы Создание опроса
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Методы борьбы со спамом | Следующая тема »


 




[ Время генерации скрипта: 0.1680 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.