Модераторы: skyboy, MoLeX, Aliance, ksnk
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Поиск по таблице в 1.5 ГБ, 15 млн записей 
:(
    Опции темы
letsgo
Дата 14.12.2010, 11:25 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 42
Регистрация: 17.2.2009

Репутация: нет
Всего: нет



Есть таблица, размер которой уже достиг 16 млн записей, общий размер: 1.5 Гб.
Данные постоянно пополняются, удаляются очень редко, в сутки примерно 200-300 тысяч записей идут под снос, но при этом 400-500 добавляются.
Сейчас необходимо делать по базе поиск. 
Всего полей: 16, Почти все поля типа int, есть несколько float.


Таблица представляет собой хранилище данных о ценах поставщиков по различным группам товаров.
Имеет ли смысл создать отдельную таблицу для каждого поставщика или для отдельного типа товара.
Поставщиков сейчас 4, будет около 10.
Типов товара сейчас 2, будет около 15.



Это сообщение отредактировал(а) letsgo - 14.12.2010, 11:31
PM MAIL   Вверх
skyboy
Дата 14.12.2010, 13:49 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


неОпытный
****


Профиль
Группа: Модератор
Сообщений: 9820
Регистрация: 18.5.2006
Где: Днепропетровск

Репутация: 1
Всего: 260



возможно, есть смысл. чем меньше индекс, тем проще поместить его в память целиком.
а ещё я бы рекомендовал испытать Sphinx.
PM MAIL   Вверх
solenko
Дата 15.12.2010, 10:13 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1473
Регистрация: 15.1.2006
Где: Украина

Репутация: 2
Всего: 67



letsgo, дайие больше подробностей -- какой именно поиск?

Цитата(skyboy @  14.12.2010,  12:49 Найти цитируемый пост)
а ещё я бы рекомендовал испытать Sphinx. 

А смысл? Он для полнотекста, а тут
Цитата(letsgo @  14.12.2010,  10:25 Найти цитируемый пост)
Всего полей: 16, Почти все поля типа int, есть несколько float.




--------------------
Ла-ла-ла-ла
Заметьте, нет официального подтверждения, что это не просто четыре слога.
PM MAIL WWW ICQ Skype   Вверх
skyboy
Дата 24.1.2011, 11:10 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


неОпытный
****


Профиль
Группа: Модератор
Сообщений: 9820
Регистрация: 18.5.2006
Где: Днепропетровск

Репутация: 1
Всего: 260



упс, пропустил.
solenko, в sphinx есть поиск по атрибутам. т.е. по сути дублирование мезанизма индексов из СУБД.
правда, я погорячился, когда решил, что sphinx может работать с большими объемами быстрее, чем СУБД - все ж опыт играют на руку mysql.
PM MAIL   Вверх
Muerto
Дата 30.1.2011, 01:32 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1207
Регистрация: 23.9.2006

Репутация: нет
Всего: 4



Заметь что если у тебя MyIsam то 4гига это могила


--------------------
user posted image
PM MAIL   Вверх
Texasian
Дата 4.2.2011, 12:52 (ссылка)    | (голосов:1) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 1
Регистрация: 4.2.2011

Репутация: нет
Всего: нет



Какая БД-то у автора? В любом случае, лучше разбить на несколько таблиц, если количество записей будет расти
PM MAIL WWW   Вверх
Akonkagva1
Дата 14.3.2011, 16:56 (ссылка)    | (голосов:1) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 23
Регистрация: 22.12.2008
Где: Латвия

Репутация: нет
Всего: нет



Репликация вам в помощь,  скорость значительно возрастёт.
PM MAIL WWW Skype   Вверх
  
Ответ в темуСоздание новой темы Создание опроса

Внимание: данный раздел предназначен для решения сложных, нестандартных задач.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Для профи | Следующая тема »


 




[ Время генерации скрипта: 0.1157 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.