И так. Я ознакомился со всеми статьями на форуме по поводу проверки текста на уникальность, но увы все обсуждения сводятся к локальной проверке на одном компьютере, или одной базе.
У меня задача немного иная:
Есть блог.
На блоге пользователь пишет статью и хочет естественно её опубликовать. Данную статью нужно проверить на уникальность. И если статья уникальная, тобеж, данная статья ни где не встречается в Интернете, тогда приступаем к публикации. Если же статья не уникальна - значит данную статью нужно отправить автору на доработку.
Теперь об определении не уникальности - естественно, мы должны будем ввести какое то процентное соотношение.
Уникальный текст 95% - 100%, написанный самостоятельно автором (если 95%, то могли использоваться лишь некоторые фразы из найденных статей в интернете).
Если полученный процент ниже чем 95% (от 70% до 95%) - это рерайт статьи (чужая но переделанная статья).
Если процент уникальности полученный ниже 70% то считается что это копированная статья, данная статья отправляется на переработку автору.
Все казалось бы ясно и просто с отправкой на проверку перед публикацией или отправкой на доработку. Но вот как осуществить саму проверку, данной статьи на уникальность в интернете (не на локальном сервере, не в единой базе, а в целом интернете)!
Небольшая задумка есть проверять через поисковые системы - но вот как заставить проверить весь текст гамузом (к примеру 2000 - 3000 символов без стоп слов и пробелов). И чтоб задержка была минимальной.
Есть схожый сервис "копилансер.ком" - но он проверяет всю интернет страничку. Мне-же нужна проверка статьи которая набрана пользователем. |
)