Ув-ые разработчики,
у меня задача, с полученного текста нужно взять только ключевые слова 


К примеру "The fastest way to buy iPod 3G"

нужно убрать The, fastest, to
оставить way, buy, ipod, 3G

Для начало можно ограничиться только именами. сущ.

есть ли какие-то словари для англ. рус. и др языков, алгоритмы и пр. с чего мне начать?

Словари есть 

тут чего-то было, но теперь всё битое

Это сообщение отредактировал(а) nworm - 15.11.2008, 21:16

все битое, вопрос такой, скажем словари буду составлять сам
где и как лучше держать словари.?



Это сообщение отредактировал(а) getme - 16.11.2008, 14:30

Нужно определить с каким языком вы хотите работать, это важно для выбора существительных... так как морфологические операции будут разными для рус и англ (к примеру)
Так же интеремсно на какой объем выборки вы рассчитываете для выделения ключивых слов...
Если маленькая выборка (например название, или одно предложение как вы указали), то можно использовать как ключевые имена нарицательные и их связим с другими словами
Для больших выборок это слова имеющие наибольший статистический вес, усложняя алгоритм можно использовать семантические веса.

dereyly, 

Я делаю некий сервис для владельцев веб-сайтов, сайты этих владельцов могут быть на
ру, англ. , немецком и пр. языках.

сейчас ориентируюсь только на англ.

текст из которого надо выбрать ключевые слова не большой, примерно тот что я указал., но вызовы будут частыми.

я думаю разумней будет иметь словарь местоимений, предлогов и т.д? 
вопрос в том что и как хранить.

на чем это реализовать тоже не имеет значения.

Хм непонимаю зачем вам могут понадобится предлоги, кроме того что их можно выкинуть... ну можно еще построить полное лингвистическое дерево, но на это нужно потратить много времени

PS: вы можете ознакомится с продуктами которые как раз и занимаются извлечением признаков... один из самых больших (Явка)

Это сообщение отредактировал(а) dereyly - 17.11.2008, 00:30

за ссылку спасибо, на первый взгляд что-то такое массивное
даже незнаю с какой стороны подойти