Если кто знаком с настройкой Яндекс.Директа, там есть такая тема.
Создаём большой пул поисковых фраз, ранее вводимых пользователями, а затем нужно найти минус-слова, т.е. слова, которые не подходят по тематике.
Если "скачать", "порно", "реферат" и т.п. - это универсальные минус-слова (ну ещё можно города минусовать), то как найти остальные? Или хотя бы собрать большое кол-во и предложить пользователю.
Чтобы было понятно, например. Тематика продажа авто. Запрос "купить авто" (новые). Найденные фразы:

явные минус-слова:

Здесь всего сотня фраз, их можно отобрать вручную, но на делеих может быть десятки и даже сотни тысяч! Поэтому и нужна автоматизация...
Как это можно сделать?

Задача классификации.

Пример алгоритма решения - наивный байессовский классификатор.
Ему на вход поступают 2-а множества фраз.
1-е множество. Те фразы, которые плохие.
2-е множество. Те фразы, которые хорошие.
Классификатор строит словарь плохих и хороших слов.

Но нужно всё равно строить вручную входные данные - множества плохих и хороших фраз.

Десятки тысяч фраз - это лингвисту (у которого в школе было 5 по математике) не так и на долго.
По паре сотен оригинальных фраз в час. Затем повторы пойдут.
Вообще, в таких задачах ручные способы не так и плохо проходят.


Это сообщение отредактировал(а) nworm - 30.6.2015, 17:44

Это для тебя они почему-то явные. Алгоритмически они вовсе даже не явные - до тех пор пока ты не подключишь смысловой анализатор (где бы ещё взять такой), который способен понять, что новые авто не бывают подержанными или там с пробегом...

В том-то и сложность...

Jin X, подумай вот в каком направлении.
Вот есть некий запрос (набор слов), он даёт некий результат.
Добавим к этому запросу слово, которое нам нужно тестировать, и получим второй результат.
Теперь сравним результаты.

Вариант 1. Результаты практически идентичны (отсев составляет буквально проценты). Вывод - данное слово является словом-паразитом.
Вариант 2. Результат зримо сократился, при этом его релевантность повысилась. Вывод - данное слово является важно-смысловым.
Вариант 3. Результат зримо сократился, при этом его релевантность не изменилась. Вывод - данное слово является смысловым.
Вариант 4. Результат зримо сократился, при этом его релевантность понизилась. Вывод - данное слово является нерелевантным.

Это, конечно, не методика выявления минус-слов, но на кое-какие размышления навести может. А если обработать влияние некоего слова на массив начальных заведомо релевантных запросов - то результаты будут достойны принятия решения.