| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Алгоритмы > как получить только имена существительные |
| Автор: getme 15.11.2008, 17:22 |
| Ув-ые разработчики, у меня задача, с полученного текста нужно взять только ключевые слова К примеру "The fastest way to buy iPod 3G" нужно убрать The, fastest, to оставить way, buy, ipod, 3G Для начало можно ограничиться только именами. сущ. есть ли какие-то словари для англ. рус. и др языков, алгоритмы и пр. с чего мне начать? |
| Автор: nworm 15.11.2008, 20:35 |
| Словари есть http://beon.ru/humor-joke/34-752-slovari-read.shtml |
| Автор: getme 16.11.2008, 14:30 |
| все битое, вопрос такой, скажем словари буду составлять сам где и как лучше держать словари.? |
| Автор: dereyly 16.11.2008, 16:57 |
| Нужно определить с каким языком вы хотите работать, это важно для выбора существительных... так как морфологические операции будут разными для рус и англ (к примеру) Так же интеремсно на какой объем выборки вы рассчитываете для выделения ключивых слов... Если маленькая выборка (например название, или одно предложение как вы указали), то можно использовать как ключевые имена нарицательные и их связим с другими словами Для больших выборок это слова имеющие наибольший статистический вес, усложняя алгоритм можно использовать семантические веса. |
| Автор: getme 16.11.2008, 18:11 |
| dereyly, Я делаю некий сервис для владельцев веб-сайтов, сайты этих владельцов могут быть на ру, англ. , немецком и пр. языках. сейчас ориентируюсь только на англ. текст из которого надо выбрать ключевые слова не большой, примерно тот что я указал., но вызовы будут частыми. я думаю разумней будет иметь словарь местоимений, предлогов и т.д? вопрос в том что и как хранить. на чем это реализовать тоже не имеет значения. |
| Автор: dereyly 17.11.2008, 00:29 |
| Хм непонимаю зачем вам могут понадобится предлоги, кроме того что их можно выкинуть... ну можно еще построить полное лингвистическое дерево, но на это нужно потратить много времени PS: вы можете ознакомится с продуктами которые как раз и занимаются извлечением признаков... один из самых http://gate.ac.uk (Явка) |
| Автор: getme 17.11.2008, 18:45 |
| за ссылку спасибо, на первый взгляд что-то такое массивное даже незнаю с какой стороны подойти |