VPF::Lucene, получить все уникальные слова.

CSharpProgrammer

Дата 13.5.2011, 16:22 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 44
Регистрация: 6.7.2006

Репутация: нет
Всего: нет

Доброго времени суток!

Задача такая, есть большой текстовый файл, нужно получить все уникальные слова из этого текста при помощи Lucene. Подскажите как лучше это сделать? С Lucene я новичек.

CSharpProgrammer

Дата 14.5.2011, 18:45 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 44
Регистрация: 6.7.2006

Репутация: нет
Всего: нет

Код


List<String> sentences = ...
Directory d = new RAMDirectory();
StandardAnalyzer analyzer = new StandardAnalyzer(MATCH_VERSION, new HashSet<String>());
IndexWriterConfig conf = new IndexWriterConfig(MATCH_VERSION, analyzer);
IndexWriter w = new IndexWriter(d, conf);
for (String sentence : sentences) {
    Document doc = new Document();
    doc.add(new Field("sentence", value, Field.Store.YES, Field.Index.ANALYZED));
    w.addDocument(doc);
}
w.optimize();
w.close();

IndexReader ir = IndexReader.open(dir);
TermEnum trms = ir.terms();
int count = 0;
while (trms.next()){
    Term t = trms.term();
    System.out.println(++count + ". " + t.text() + ":" + trms.docFreq());
}

1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Java: Общие вопросы \| Следующая тема »