Модераторы: LSD
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Базы данных с очень большим количеством таблиц 
:(
    Опции темы
qpeHukc
Дата 29.3.2007, 09:22 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 44
Регистрация: 18.12.2005
Где: Москва

Репутация: нет
Всего: нет



Стоит задачаведения статистики действий пользователей в системе вроде форума. Статистика - не просто цифры, а комментарии, даты и цифровая информация.

Пример статистической записи(данные взяты с потолка, чисто для примера) : 

Пользователь Id=123 
Дата заключения контракта : 12-01-2006
Результат : контракт окончен успешно
Комментарии сторон : бла бла бла, были счастливы с вами поработать
Претензии : мойте руки перед едой
... и т. д.

Статистику нужно вести на протяжении всей жизни пользователя в системе.





Очевидна (для меня =)) необходимость создания каждому пользователю(пользователь - это организация) своей таблицы. Пользователей - тысячи.

Можно конечно вести статистику по месяцам - в таблицу, привязанную к месяцу кидать результаты контрактов всех пользователей. 

Но тогда как получать статистику по конкретному пользователю ? Получение таких данных будет существенно перегружать систему (проход по всем таблицам статистики для сбора данных по одному пользователю).





В связи с этим возник ряд вопросов :  

Будет ли база данных работать эффективно с огромным колличеством таблиц ? 

Какие предвидятся траблы(снижение скорости определенных типов запросов и т. д.) ?

Поделитесь, пожалуйста опытом, может у кого возникали подобные задачи.
PM MAIL ICQ   Вверх
qpeHukc
Дата 29.3.2007, 11:01 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 44
Регистрация: 18.12.2005
Где: Москва

Репутация: нет
Всего: нет



на скуэльру подсказали, что нормально будет писать всю статистику - по всем пользователям в одну таблицу

даже не разделяя по месяцам

сомнения...
PM MAIL ICQ   Вверх
RatHat
Дата 29.3.2007, 11:43 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Вождь индейцев
*


Профиль
Группа: Участник
Сообщений: 234
Регистрация: 5.9.2005

Репутация: 1
Всего: 1



qpeHukc, не вижу смысла под каждого пользователя заводить отдельную таблицу...
просто нормально спроектируй базу, и будет тебе счастье.
Статистику по конкретному пользователю добывать запросом.
Всё в одну таблицу пихать - тоже некуртуазно. ибо противоречит всем принципам нормализации БД да и в объём этой таблицы будет потом негрустный.
--------------------
Ma a kis' hi ve'ist i wan'i na e'ho ho wan'i
PM MAIL   Вверх
Бонифаций
Дата 29.3.2007, 12:18 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 827
Регистрация: 15.9.2005
Где: Brisbane

Репутация: нет
Всего: 40



Цитата(RatHat @  29.3.2007,  11:43 Найти цитируемый пост)
Всё в одну таблицу пихать - тоже некуртуазно. ибо противоречит всем принципам нормализации БД 


 а в чем одна таблица в этой задаче нарушает куртуазность, и (что интереснее) принципы нормализации? Вот разбиение на тучу мелких таблиц - да, нарушает. А в одной тблице вся статистика это нормально. 

Цитата(qpeHukc @  29.3.2007,  09:22 Найти цитируемый пост)
Будет ли база данных работать эффективно с огромным колличеством таблиц ? 


Зависит от базы. Но для баз, хранящих таблицы в  каждую в своем файле (postgres, mysql/myisam и тд и тп) - после 5-6 тыщщ таблиц будете гарантировано иметь проблемы с быстродействием. Потому что файловые системы не любят большое количество файлов в одном каталоге.

Остальные субд (которые держат все таблицы в одном файле) тоже не слишком любят большое количество таблиц.

Доступ к таблицам неоптимизирован. (никому это не надо, таблиц много бывает редко, в основном при неправильном проектировании). Доступ к записям в таблице - оптимизирован многими поколениями разработчиков СУБД. Начиная от банальных  индексов, и кончая сложными технологиями типа адаптивного хеширования, partitioning и query-cache. 

А какое вообще количество записей планируется?


--------------------
 Бонифаций.
 
PM MAIL ICQ Skype GTalk Jabber YIM   Вверх
batigoal
Дата 29.3.2007, 13:21 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Нелетучий Мыш
****


Профиль
Группа: Участник Клуба
Сообщений: 6423
Регистрация: 28.12.2004
Где: Санктъ-Петербургъ

Репутация: 1
Всего: 151



Идеологически, одна сущность - одна таблица.


--------------------
"Чтобы правильно задать вопрос, нужно знать большую часть ответа" (Р. Шекли)
ЖоржЖЖ
PM WWW   Вверх
qpeHukc
Дата 30.3.2007, 09:04 (ссылка) |  (голосов:1) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 44
Регистрация: 18.12.2005
Где: Москва

Репутация: нет
Всего: нет



ясно, всем спасибо

буду в одной таблице пробовать

правда она тогда за год заполнится пару миллионами записей  smile 
PM MAIL ICQ   Вверх
Akina
Дата 30.3.2007, 09:40 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Советчик
****


Профиль
Группа: Модератор
Сообщений: 20581
Регистрация: 8.4.2004
Где: Зеленоград

Репутация: 13
Всего: 454



Собсно если грамотно продумать систему индексов и словарей, то миллион-другой записей в год - это ерунда.


--------------------
 О(б)суждение моих действий - в соответствующей теме, пожалуйста. Или в РМ. И высшая инстанция - Администрация форума.

PM MAIL WWW ICQ Jabber   Вверх
LSD
Дата 30.3.2007, 11:03 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 24
Всего: 538



Таблицу лучше сделать одну, и если надо использовать partitioning.


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
batigoal
Дата 30.3.2007, 14:30 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Нелетучий Мыш
****


Профиль
Группа: Участник Клуба
Сообщений: 6423
Регистрация: 28.12.2004
Где: Санктъ-Петербургъ

Репутация: 1
Всего: 151



Цитата(qpeHukc @  30.3.2007,  10:04 Найти цитируемый пост)
правда она тогда за год заполнится пару миллионами записей  smile  

Вчера я делал нагрузочный тест, и миллион записей забил за четыре часа. И эта нагрузка считается нормальной.


--------------------
"Чтобы правильно задать вопрос, нужно знать большую часть ответа" (Р. Шекли)
ЖоржЖЖ
PM WWW   Вверх
Zamuta
Дата 23.5.2007, 00:36 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 389
Регистрация: 18.1.2006

Репутация: нет
Всего: 6



Если всё писать в одну таблицу, то возникает вопрос - какое максимальное количество столбцов допускает InnoDB и MyIsam таблицы? В мануале не нашёл.  smile 


--------------------
Thank you opensource.
PM MAIL ICQ   Вверх
Бонифаций
Дата 23.5.2007, 08:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 827
Регистрация: 15.9.2005
Где: Brisbane

Репутация: нет
Всего: 40



http://dev.mysql.com/tech-resources/features.html

выбираете mysql 4.1 и смотрите в 'other limits'


--------------------
 Бонифаций.
 
PM MAIL ICQ Skype GTalk Jabber YIM   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Общие вопросы по базам данных"
LSD
Zloxa

Данный форум предназначен для обсуждения вопросов о базах данных не попадающих под тематику других форумов:

  • вопросам по СУБД для которых нет отдельных подфорумов
  • вопросам которые затрагивают несколько разных СУБД (например проблема выбора)
  • инструменты для работы с СУБД
  • вопросы проектирования БД
  • теоретически вопросы о СУБД

Данный форум не предназначен для:

  • вопросов о поиске разлиных БД (если не понимаете чем БД отличается от СУБД то: а) вам не сюда; б) Google в помощь)
  • обсуждения проблем с доступом к СУБД из различных ЯП (для этого есть соответсвующие форумы по каждому ЯП)
  • обсуждения проблем с написание SQL запросов, для этого есть форум Составление SQL-запросов
  • просьб о написании курсовой, реферата и т.п., для этого есть Центр помощи или фриланс биржа
  • объявлений о найме специалистов, для этого есть раздел Объявления о найме специалистов

Если вы не соблюдаете эти правила, не удивляйтесь потом не найдя свою тему/сообщение. ;)


Полезные советы:

При написании сообщения постарайтесь дать теме максимально понятное название. В теме максимально подробно опишите проблему. Если применимо укажите: название базы данных и версии (MySQL 4.1, MS SQL Server 2000 и т.п.); используемых язык программирования; способа доступа (ADO, BDE и т.д.); сообщения об ошибках.

Для вставки кода используйте теги [code=sql] [/code].

Литературу по базам данных можно поискать здесь.

Действия модераторов можно обсудить здесь.


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, LSD, Zloxa.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | СУБД, общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.1129 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.