Модераторы: LSD
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Поиск по BLOB-полю 
:(
    Опции темы
MrKit
Дата 22.4.2007, 22:02 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 21
Регистрация: 18.1.2007
Где: Москва

Репутация: нет
Всего: нет



Имеется: БД для хранения сообщений с новостных каналов инета.

Сообщения (новости) хранятся в поле типа BLOB, поскольку размер иногда превышает 32 Кб (ограничение Varchar), хотя средний размер - 1-2 Кб.
Число записей в день ~500-1000.
СУБД - InterBase.

Необходимо организовать поиск среди новостей, чтобы выводить только те из них, которые содержат 1 или несколько ключевых слов. При этом забота о морфологии (изменяющиеся окончания, корневые гласные и т.п.) остается на плечах компетентного пользователя (за исключением учета регистра букв).

При поиске путей реализации перелопатил кучу инфы в инете, а потом попробовал элементарное условие CONTAINING для всех ключевых слов, т.е.
... WHERE (news CONTAINING <слово1>)AND(news CONTAINING <слово2>) ...
Оказалось, что для 3-5 слов поиск по 15000 записям занимает всего 1-2 секунды (на глазок), что более чем приемлемо.
Единственная заноза - для поиска без учета регистра нужно писать UDF BlobLowerCase, поскольку стандартный LowerCase для BLOB не работает.

У кого какие будут советы и соображения по этому поводу? ;)
PM MAIL   Вверх
LSD
Дата 22.4.2007, 22:18 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 24
Всего: 538



Я бы предложил не изобретать велосипед, а использовать готовые решения для организации полнотекстового поиска.


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
MrKit
Дата 22.4.2007, 23:36 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 21
Регистрация: 18.1.2007
Где: Москва

Репутация: нет
Всего: нет



Цитата(LSD @  22.4.2007,  22:18 Найти цитируемый пост)
Я бы предложил не изобретать велосипед, а использовать готовые решения для организации полнотекстового поиска

Это относительно BlobLowerCase? Я уже смотрел ;), хотел оттуда что-нибудь взять.
Там очень много инфы, голова пухнет и времени нет разбирать все что есть.

По поводу полнотекстового поиска: насколько я понимаю, он предполагает наличие словаря, так? А я хочу обойтись без него.

Это сообщение отредактировал(а) MrKit - 22.4.2007, 23:39
PM MAIL   Вверх
LSD
Дата 22.4.2007, 23:54 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 24
Всего: 538



Цитата(MrKit @  23.4.2007,  00:36 Найти цитируемый пост)
По поводу полнотекстового поиска: насколько я понимаю, он предполагает наличие словаря, так? А я хочу обойтись без него.

Очень неправильное желание. Это на тестовой базе, с одним пользователем и маленькими блобами, поиск занимает 1-2 секунды, а в реальности он возрастет на порядок.

Но если все же решишь писать сам посмотри эту статью. Пример поиска по блобу там есть, осталось сделать его нечуствительным к регистру.


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
MrKit
Дата 23.4.2007, 00:03 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 21
Регистрация: 18.1.2007
Где: Москва

Репутация: нет
Всего: нет



Цитата(LSD @  22.4.2007,  23:54 Найти цитируемый пост)
Очень неправильное желание. Это на тестовой базе, с одним пользователем и маленькими блобами, поиск занимает 1-2 секунды, а в реальности он возрастет на порядок.

У меня и будет 1 пользователь. Размеры blob я привел сразу.
А вот насколько поиск замедлится при таких темпах, скажем, через полгода?...

За статью спасибо, уже неск. дней открыта в браузере, все никак не успеваю прочитать. smile
PM MAIL   Вверх
LSD
Дата 23.4.2007, 00:09 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 24
Всего: 538



Если ты знаешь темпы роста базы, то посчитай сколько будет записей через год. И протестируй на таком объеме данных.


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Общие вопросы по базам данных"
LSD
Zloxa

Данный форум предназначен для обсуждения вопросов о базах данных не попадающих под тематику других форумов:

  • вопросам по СУБД для которых нет отдельных подфорумов
  • вопросам которые затрагивают несколько разных СУБД (например проблема выбора)
  • инструменты для работы с СУБД
  • вопросы проектирования БД
  • теоретически вопросы о СУБД

Данный форум не предназначен для:

  • вопросов о поиске разлиных БД (если не понимаете чем БД отличается от СУБД то: а) вам не сюда; б) Google в помощь)
  • обсуждения проблем с доступом к СУБД из различных ЯП (для этого есть соответсвующие форумы по каждому ЯП)
  • обсуждения проблем с написание SQL запросов, для этого есть форум Составление SQL-запросов
  • просьб о написании курсовой, реферата и т.п., для этого есть Центр помощи или фриланс биржа
  • объявлений о найме специалистов, для этого есть раздел Объявления о найме специалистов

Если вы не соблюдаете эти правила, не удивляйтесь потом не найдя свою тему/сообщение. ;)


Полезные советы:

При написании сообщения постарайтесь дать теме максимально понятное название. В теме максимально подробно опишите проблему. Если применимо укажите: название базы данных и версии (MySQL 4.1, MS SQL Server 2000 и т.п.); используемых язык программирования; способа доступа (ADO, BDE и т.д.); сообщения об ошибках.

Для вставки кода используйте теги [code=sql] [/code].

Литературу по базам данных можно поискать здесь.

Действия модераторов можно обсудить здесь.


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, LSD, Zloxa.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | СУБД, общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.0473 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.