И так. Я ознакомился со всеми статьями на форуме по поводу проверки текста на уникальность, но увы все обсуждения сводятся к локальной проверке на одном компьютере, или одной базе. 

У меня задача немного иная:
Есть блог. 
На блоге пользователь пишет статью и хочет естественно её опубликовать. Данную статью нужно проверить на уникальность. И если статья уникальная, тобеж, данная статья ни где не встречается в Интернете, тогда приступаем к публикации. Если же статья не уникальна - значит данную статью нужно отправить автору на доработку.

Теперь об определении не уникальности - естественно, мы должны будем ввести какое то процентное соотношение. 

Уникальный текст 95% - 100%,  написанный самостоятельно автором (если 95%, то могли использоваться лишь некоторые фразы из найденных статей в интернете).

Если полученный процент ниже чем 95% (от 70% до 95%) - это рерайт статьи (чужая но переделанная статья).

Если процент уникальности полученный ниже 70% то считается что это копированная статья, данная статья отправляется на переработку автору.

Все казалось бы ясно и просто с отправкой на проверку перед публикацией или отправкой на доработку. Но вот как осуществить саму проверку, данной статьи на уникальность в интернете (не на локальном сервере, не в единой базе, а в целом интернете)! 

Небольшая задумка есть проверять через поисковые системы - но вот как заставить проверить весь текст гамузом (к примеру 2000 - 3000 символов без стоп слов и пробелов). И чтоб задержка была минимальной.

Есть схожый сервис "копилансер.ком" - но он проверяет всю интернет страничку. Мне-же нужна проверка статьи которая набрана пользователем.

Дешевле всего разместить статью которая написана пользователем на пустой странице, купить подписку на какой-нибудь http://copyscape.com/
И им тупо проверять.

Можно проработать задачу, сделать какую-нибудь программу (какой-нибудь мод к админке), чтоб она размещала материал на странице, запускала проверку copyscape.com и выдавала результат.
Поискать в Инетрнете сервисы для проверки. Провести исследование, сравнить какой из них лучше и выбрать его, а не copyscape.com.

Ну и можно писать самому проверку. Самый глобальный вариант - делать поисковик, чтоб он всё в одну базу забирал.

А делайте так же, как бы вы это делали вручную. Я проверяю так - захожу на Google, копирую 5-10 слов из статьи, беру в кавычки, жму "искать". Если гугл точно такой цитаты не находит - статья, видимо, уникальная. Проверку можно повторить раза 3 для надежности.

Это, конечно, не проверка методом шинглов, где можно дать ответ в стиле "уникальность 95%", но тоже хорошо работает, можете мне поверить.

В общем, уникальность проверить просто. Вот осмысленность или интересность - НАМНОГО сложнее.

Думаю, 100% это ну о-о-очень амбициозно. Что-бы ни рекламировали хитро-вымарано цензурой хозяива поисковиков, в сети много странных мест. С другой стороны, если человеку надо что-то списать, он в эти странные места тоже не попадает, как правило.

По существу же - имеются коммерческие продукты, проверяющие тексты на списывание. Какие не назову, но знаю, что их покупают университеты с целью проверок студенческих работ. Задача ИМХО именно та. СтОит покопать в этом направлении. Если очень нужно - попробую поискать название какого-нибудь такого продукта.

Определите формально - уникальность, схожесть.

Очевидно это будут метрики.

В зависимости от метрики можно будет разработать алгоритм

Всем спасибо за помощь - начальное направление получено. Буду думать теперь над реализацией данной проверки при помощи поисковых систем. Может в дальнейшем сделаю дополнительную платную проверку при помощи сервисов по типу copyscape.com

Можно продолжать выдвигать идеи - может у когото будет идея получше. Я думаю что сейчас это интересная тема. Так как в наше время пошол бум на уникальный контент на сайтах. 

И еще раз всем спасибо!