Подскажите плз, алгоритм, а может и готовое решение:
Есть куча HTML страниц, сжатых по Zlib и запихнутых в базу.
Необходимо создать быстрый поиск. Как мен видится решение - нужно создать индекс: список слов и встречаемость его в документах. Так вот отсюда вопрос - как составить список слов?  - то есть поубирать из индекса предлоги, междометия и проц. ненужный мусор (точнее, где такой перечень слов можно нарулить) - и как наиболее оптимально организовать хранение такого индекса - БД, текстовый файл, бинарный файл или еще как-то.
Думаю, структура БД будет такой 1 таблица ID:integer; Word:String, затем соббсно сам индекс: ID_Word:integer; ID_Doc:integer;PosInDoc:string

Заранее спасибо за наводки, ссылки и проч.

Поискового бота пишешь? ;)
Собирай все слова которые найдешь.  Сделай табличку вида: id; word; length; PartSpeech; IndexFreq; HTMLName; многа многа полей
Делай все в какой нить MySQL
Проиндексируй ее по полям, которые тебе понадобятся. Потом вот это: http://lmgtfy.com/?q=%D0%91%D0%B0%D0%B7%D0...%BB%D0%BE%D0%B2
Ну и дальше делаешь что тебе надо...

Вот тут еще почитай
http://wwwmaster.zx6.ru/view.php?sec=1&id=17

когда то доводилось делать поиск по базе html страничек с подстветкой найденого в странице. делал через регулярные выражения. а сами старницы хранил в базе в обычном хтмл . 

Мне нужна концепция организации поиска
 Сечас делаю так - в одном массиве 
перепробовал движки БД для хранения индекса - очень медленно получается, поэтому храню в тнативных массивах и потоках
1. список типа TStringList - 
Задача - типа поисковика для документов предприятия, которые в ХТМЛ, стандартные средства применять нельзя.
список стоп слов, которые будут выбрасываться из поискового запроса и при индексации будут игнорироваться
2. список сло с спривоенными им ID (есть bдея хранить не список слов, а результат вычисляемой на основании слова ХЭЩ-функции
, но функции не нашел подходяещй, да и смысла скорее всего нет
3. собственно индекс слов в виде записи





Работа со списками идет в виде банального прогона по элементам массива
Поругайте идею и предложите оптимизацию как для построения индекса, так и для его дальнейшего использования

хз я хранил данные в  таблице sqlite . примерно 10000 записей поиск занимал несколько секунд.

это очень долго

Создай словарь (список всех возможных словообразований) по всем таблицам (хтмл файлам). Словарь будет конечен (при добовлении новой таблички, обновляй его). Затем к каждой таблице добавь описание (id_word, position_word). Сделаешь все это в MySQL имхо поиск будет доли сенкунды.

отказался от движка БД. Статистика такая - слов и словоформ - тыщ 400, позиций в слове35 млн - создание индекса средствами БД - жутко долго, щас занимаюсь максимальной оптимизацией, особенно касаемо копирования памяти, сортировки, сравнения строк.

Вот, хочу предлжить на критику следующую функцию, аналог ansicomparetext .
Регистр всегда верхний, поэтому преобразований в этом месте нет. Параметры такие, потому что на вход удобнее без преобразований типов подавать именно такие.





И ещеникто не поделится опытом работы  с морфологией? Как искать без учета падежей и склонений, спряжений?

M MetalFan

Оверквотинг  Правила форума: http://forum.vingrad.ru/index.php?act=boardrules Зачем цитировать ПОЛНОСТЬЮ сообщение в следующем за ним ответе?

Все же, попробуйте обратить внимание на БД. 
Идея такая: Есть у вас допустим набор таблиц, вы сделали как я написал уже выше. А вновь добовляемые данные будете складывать в другую табличку, соответственно индекс будет строиться очень быстро (пока там снова не скопится большое колличество данных), но периодически можно скидывать данные из новой таблички в старую, а новую затем подчищать... 

По поводу функции, нет выхода по условию завершения строки asst
Я бы сделал этот кусок кода на asm.

Это сообщение отредактировал(а) MetalFan - 26.10.2011, 13:43

Я видел, что глючит иногда функция и отказался от нее в пользу библиотечной функции сравнения двух pchar строк. С асмом не дружу. Помнится, попадалась как-то библа - набор аналогов функций со строками и памятью, оптимизированных под конкретный проц, но скока щас не искал - не могу таких найти - может с ними пошустрее была б работа. По поводу БД - я отказался от БД и разница в скорости возросла в десятки раз!!!!! Думаю, такое ускорение быстродействия стоит того, чтоб все ручками прописывать 

По поводу функции, есть вот такая StrComp
А по поводу БД, вы ее не правильно "готовите". 

QStrings, но к сожалению только для Ansi строк.

+1

+1   не раз такое наблюдаю на Винграде.