Помогите, пожалуйста, со следующей задачей.
Есть таблица, содержащая несколько миллионов строк, длина которых колеблется где-то в диапазоне от 1 до 70-и. Нужно быстро находить строки по %подстроке%. В качестве БД можно использовать MySQL или PostgreSQL.
В документации к MySQL сказано:
| Цитата |
If you use ... LIKE '%string%' and string is longer than three characters, MySQL uses the http://en.wikipedia.org/wiki/Boyer-Moore_algorithm#Variants algorithm to initialize the pattern for the string and then uses this pattern to perform the search more quickly.
|
Похоже, это не оптимальный вариант, так что простой индекс не годится. Обнаружил, что в MySQL есть поддержка FULLTEXT индекса:
| Цитата |
You can also create FULLTEXT indexes. These are used for full-text searches. Only the MyISAM storage engine supports FULLTEXT indexes and only for CHAR, VARCHAR, and TEXT columns. Indexing always takes place over the entire column and column prefix indexing is not supported.
|
И вроде они даже работают http://habrahabr.ru/blogs/mysql/25646/. Смущает только упоминание морфологии и стоп-слов. Это ведь можно отключить?
В PostgreSQL FULLTEXT индексов не нашел. Может, плохо искал?
Еще, как вариант, в обоих СУБД можно сделать таблицу, содержащую наши строки, сдвинутые (не цеклически) на 1, 2, 3 и тд символов влево с простым индексом. Такая штука должна быстро решать задачу, но смущает сложность реализации-поддержки. Хотелось бы использовать встроенные средства СУБД.
Что посоветуете? |
