Итак, на sources.ru была идея сделать более приемлемый поисковик для форума. Идеи и реализация была обсуждена и разработанна здесь. Однако, тема так и не получила дальнейшего развития. Тем не менее мне эта фича кажется интересной и перспективной, вот хочу узнать, нет ли тут интересующихся в реализации такого?

Я тоже думаю над чем-то подобным, но у нас проблема - нехватка кадров, которые могли бы это нормально реализовать.

Я так понял ты хочешь делать что то похожее на инверсные файлы, только в БД? Эффективность такого подхода что то под сомнением... Если учитывать что на форуме юзаем MySQL у которой индексы на бинарных деревьях, а следовательно суффиксного поиска нет - откидывание приставок в словах и т.п. не пройдёт.

В FAQ'е, когда всё только начиналось, я говорил добавить в базу поле для ключевы слов, что бы сделать такой поиск. Не знаю реализованно ли это.

ИМХО может звучит глупо, но нужно писать свою софтину реализовывая String B Tree или что то подобное. Найти либу преобразуюшую слова в реги со всеми наклонениями и т.п. для морфологического поиска. Также словари для контекстного поиска. Сам поиск реализованный на String B Tree будет очень эффективен(читай не будет опускать сервер как с MySQL).

Сейчас на работе пишу достаточно сложный поисковик. Как закончу (где-то середина Февраля), могу подправить его под форум

Цитата(simanyay @ 17.1.2005, 10:04)

Сейчас на работе пишу достаточно сложный поисковик. Как закончу (где-то середина Февраля), могу подправить его под форум

Было бы хорошо!

simanyay, а начальник не обидится?

Сейчас вообщето модно переходить на опенсорс
Так что наверное обрадуется

simanyay всяко работает над OpenSource проектами

Цитата(Sardar @ 17.1.2005, 00:18)

Я так понял ты хочешь делать что то похожее на инверсные файлы, только в БД? Эффективность такого подхода что то под сомнением... Если учитывать что на форуме юзаем MySQL у которой индексы на бинарных деревьях, а следовательно суффиксного поиска нет - откидывание приставок в словах и т.п. не пройдёт.

Не понял, о чем ты говоришь. Смысл в том, чтобы улучшить поиск проиндексировав посты, а не так как сейчас скорее всего сделанно: like по всем постам. Эффективность точно будет выше и точность тоже, причем существенно.

Если ты говоришь о словообразовании - то это вопрос отдельный, хоть тоже не маловажный.


Добавлено @ 22:23

Цитата(simanyay @ 17.1.2005, 09:04)

Сейчас на работе пишу достаточно сложный поисковик.

Это интересно. На каких принципах? В смысле, какие части присутвуют, как создается индекс, как он используется и какие функциональные возможности поддерживать (более всего интересует словобразование).

Может форум на другую БД перенести?

Цитата(Fantasist @ 24.1.2005, 21:20)

Смысл в том, чтобы улучшить поиск проиндексировав посты,

Собстна что такое индекс в твоём понимании? Я это вижу как некоторое представление данных, в котором можно эффективно искать. Метод зависит от того, что ищем(слова, отрывки текста, смысловые веса и т.д.) Например инверсные файлы - старый, много раз использованный в прошлом метод индексации слов.

Цитата(Sardar @ 24.1.2005, 19:58)

Собстна что такое индекс в твоём понимании? smile Я это вижу как некоторое представление данных, в котором можно эффективно искать.

Можно, кончено, и так сказать, но это слишком обще. В нашем случае данными являются посты, и индекс будет тяжело назвать другим представлением этих данных, так как по нему вовсе не обязательно можно будет их восстановить. Здесь предлагается для индексирования использовать таблицы MySQL-я, на котором, собственно говоря, живет форум, а уж система индексирования этих таблиц естесственно будет MySQL-евская, которая, я считаю, должна быть достадочно эффективна. То есть предлагаемая система будет работать таким образом: слово для поиска->ID слова в таблице словоформ->ID постов ассоциированных с ID слова. То есть поиск выполняется в двух таблицах - в первой, по слову получается целочисленное ID, во втором по этому ID ищется посты. Изобретать низкоуровневую систему индексирования не вижу смысла, ибо: не знаю специалистов в этой области, она уже реализованна в используемой СУБД, прикрутить ее к форуму будет сложнее.

Да, лучше конечно так. Нагрузка вроде большой быть не должна, это же поиск на форуме
Хорошо запоминать позицию слова в топе, дабы сортировать по более чётким результатам.

Нам нужно одновременно сделать поиск по ФАКу еще.

Цитата(Sardar @ 26.1.2005, 18:11)

Хорошо запоминать позицию слова в топе, дабы сортировать по более чётким результатам.

Безусловно это было бы лучше, но это существенно увеличет объем индекса. В одной статье мужик утверждает, что в этом случае объем индекса будет приближатся к 30% от объема индексируемых данных. Не знаю, сам не пробывал.