| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > PHP: Общие вопросы > Сравнение на схожесть текста и записи из БД |
| Автор: KIBIs 15.10.2013, 00:12 |
| Здравствуйте уважаемые пользователи форума. Возникла задача в реализации системы сравнения текстов на схожесть, иными словами на предмет плагиата. Реализация системы на php, хранение данных в БД MySQL. Принцип работы заключается в следующем, пользователь открывает страницу и в диалоге загрузки файла на сервер выбирает *.doc файл и загружает его на сервер. Система проводит операции над содержимым doc-файла (очистка от лишних символов, стоп-слов и прочее) записывает результат в базу и проверяет с уже существующими записями в базе на предмет их схожести. Результат сравнения выводится на той же странице. Может быть, так, что текст внутри doc файла может быть заимствован из нескольких источников, и записи о них могут храниться в базе. В записях также указывается и автор текста. Нужно чтобы результат имел вид - "Загруженный файл имеет схожесть с (перечисление записей в базе, которые имеют схожесть) авторами которых являются (перечисление авторов текстов в записях)". Возможно ли такое реализовать? Как реализовать такую идею? С чего начать? Хотелось бы выслушать ваше мнение, советы, или ссылки на что то полезное в этом направлении, реализации отдельных моментов, все, что может быть полезным. Спасибо заранее. |
| Автор: Sanchezzz 16.10.2013, 20:42 |
| Все возможно если подумать Например слова записывать без склонений. (стример в помощь) Каждый документ имеет свою таблицу id word сравнивая таблица также имеет такую же структуру. Слова из первого документа заносим в таблицу А без склонений в таблицу Б заносим документ на который сравниваем также слова без склонений Дальше Sql Запрос который ищет и подсчитывает найденные слов Высчитываем процент если 60%. Дальше будите улучшать алгоритм. |
| Автор: Platon 19.10.2013, 15:11 |
| Вообще, это классическая задачка для поисковых систем, которые активно http://www.codeisart.ru/part-1-shingles-algorithm-for-web-documents/ Сам я не разбираюсь по теме, но наслышан, что именно этим методом сравниваются тексты на плагиат. |