Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > СУБД, общие вопросы > Помогите выбрать СУБД!


Автор: ЖораПрогов 21.2.2006, 16:29
СУБД должна быть ориентированна на максимально быстрое выполнение SELECTa.
Insertov и Updatov будет очень мало. SELECTов от 30 в секунду!
Кол-во userов - не более 50. Размер базы от 2 млн. до 3 млн. записей.

Размер записей не более 700 байт (10 полей)
Поиск буду делать по полям типа integer.

Посоветуйте.
Я работал с INterBase 7.1 - медлено - я правда с ним не извращался ( не ковырялся в его системных таблицах). Да и при установке у зказчика такой возможности нет.

Я сравнил его с Cache - smile Лучше в поисковеке это слово не писать smile Кроме рекламы Вы ничего не найдете. Я на него неделю убил smile

ПОМОГИТЕ!!!!

Автор: chief39 21.2.2006, 17:26
Лучший способ( хотя за забивание на него регулярно получаю пинка на работе smile ) - поставить и проверить smile
Поставь все возможные для тебя СУБД , забей идентичные таблички миллионом данных и прогони селекты. И будет тебе такой ответ, который никто больше не даст. Тем более рамки ты весьма чётко обрисовал, и если для неизвестных условий нужны сложные умозаключения, то тут нужны простые тесты smile Тем более надо поиграться с настройками их и определить откуда сколько можно выжать

Автор: Alex 21.2.2006, 18:21
ЖораПрогов, заканчиваем говорить беспорядочный набор слов, и расставляем все на свои места/ Быстрое выполнение понятие относительное и зависящая от очень многих факторов: Мощности компьютера сервера, правильности растравления индексов, объемов данных, которые попадают под условия выбора и т.д. и т.п.

Если не секрет, что это за задачи где 30 селектов в секунду, желательно бы знать что это за селекты, данные хранятся в одной таблице или в множестве, какие связи между таблицами?

PS:
Пока вы сами по-моему не знаете, что вы хотите и такое чувство, не понимаете, что большая база будет требовать больших аппаратных мощностей.

Автор: ЖораПрогов 21.2.2006, 23:48
>Alex

1. smile Насчет беспорядоченного набора слов - если человек позволяет себе подобные фразы, то он минимум ГУРУ в теме, я себя к таким не отношу, во всяком случае пока. Огрызаться не буду - хотя наверно стоит.

2. База состоит из одной таблицы - если бы их было 2 - ябы указал.

3. Насколько мне кажется физический размер файла или структуры в которых хранится инфа этой таблицы (базы) зависит от используемой субд. Для InterBase у меня - 250 мб, для cache получилось - 600 мб на 900000 записей (я правда не шибко сильно в ней разбирался).

4. Запросов в секунду рельно будет больше smile Это будет селект вида :
SELECT * FROM xTable
WHERE (Field1<:X and Field2>:X)
Поля Field1, Field2 - integer, на них индекс
Суть запроса - запись удовлетворяет условию если число (параметр) должно попадать в диапазон между двуми числами Field1 и Field2

xTable
Field1 integer;
Field2 integer;
Field3 varchar;


>chief39
Спасибо. Надеюсь это будет не последний дельный совет ;) Задача, то распространенная. Перебирать все многообразие СУБД долго. Вот и решил спросить - кто что может сказать (подсказать, посоветовать).

Вроде так.



Автор: Alex 22.2.2006, 00:11
Сколько записей в среднем попадает при выборке?

Автор: ЖораПрогов 22.2.2006, 00:18
10 максимум
Добавлено @ 00:18
я больше не видел

Автор: LSD 22.2.2006, 00:23
Цитата(ЖораПрогов @ 21.2.2006, 23:48 Найти цитируемый пост)
Огрызаться не буду - хотя наверно стоит.

Не стоит.

Конфигурация сервера?

Автор: ЖораПрогов 22.2.2006, 00:26
Железо или OC?

Автор: LSD 22.2.2006, 00:28
В первую очередь железо, ну и ОС за компанинию укажи.

Автор: ЖораПрогов 22.2.2006, 00:30
windows server 2003
Железо типа
HP DL380 - 2 Xeon, 2 - 4 Гбайт ОЗУ, ~500Мбайт RAID массив, ну короче сильное
Добавлено @ 00:32
Меня ПОКА интересуют локальные запросы к БД, хрен с сетью.
Добавлено @ 00:34
Да, клиенты все под Win.

Автор: LSD 22.2.2006, 00:51
Должен тянуть, да еще и с запасом.

Как я понимаю ты гонял тесты на:
Цитата(ЖораПрогов @ 21.2.2006, 23:48 Найти цитируемый пост)
nterBase у меня - 250 мб, для cache получилось - 600 мб на 900000 записей

этой базе.

1. Сколько запросов в секунду успевает пройти?
2. Где было узкое место: процессор, винт, память?


Автор: Alex 22.2.2006, 01:29
ЖораПрогов, Гуру я ни когда себя не считал, я просто очень не люблю когда люди не разобравшись до конца в вопросе вываливают на форум все что есть...

Не поленился и создал подобие вашй БД

таблица
Код

CREATE TABLE NEW_TABLE (
    FIELD1  INTEGER,
    FIELD2  INTEGER,
    FIELD3  VARCHAR(125)
);


с помощью генератора тестовых данных в IBExpert она была заполнена 3мил. записями
FIELD1 - автоинкримент от 0 и до 2999999
FIELD2 - Random число [-2147483648, 2147483647]
FIELD3 - GUID

Тест1 первый:

Cоздаем два индекса:
Код

CREATE INDEX NEW_TABLE_IDX1 ON NEW_TABLE (FIELD1);
CREATE INDEX NEW_TABLE_IDX2 ON NEW_TABLE (FIELD2);


Пытаемся выполнить запрос:
Код

select * from new_table nt where nt.field1 > 2000800 and  nt.field2 < 2000800


Результат:
Цитата

План
PLAN (NT INDEX (NEW_TABLE_IDX2,NEW_TABLE_IDX1))

Адаптированный план
PLAN (NT INDEX (NEW_TABLE_IDX2,NEW_TABLE_IDX1))

------ Performance info ------
Prepare time = 0ms
Execute time = 656ms
Avg fetch time = 17,73 ms
Current memory = 5 143 924
Max memory = 5 278 840
Memory buffers = 4 048
Reads from disk to cache = 455
Writes from cache to disk = 6


В результате нам выбрали 499907 записей (понятно, что клиенту передали только то кол-во, которое ему реально было нужно для отображения, у меня это 37)

Тест2

Удаляем два индекса созданные в Тест1 и создаем новый:
Код

CREATE INDEX NEW_TABLE_IDX3 ON NEW_TABLE (FIELD1, FIELD2);


Пытаемся выполнить запрос:
Код

select * from new_table nt where nt.field1 > 2000800 and  nt.field2 < 2000800


Результат:
Цитата

План
PLAN (NT INDEX (NEW_TABLE_IDX3))

Адаптированный план
PLAN (NT INDEX (NEW_TABLE_IDX3))

------ Performance info ------
Prepare time = 0ms
Execute time = 109ms
Avg fetch time = 2,95 ms
Current memory = 6 062 456
Max memory = 8 777 804
Memory buffers = 4 048
Reads from disk to cache = 1 100
Writes from cache to disk = 6


Тест проходил: Cервер FB 1.5.2, Машина P4 2.4, Память 1Гиг, Диск 80Гиг (буффер 8мег, FAT32). Файл базы находился физически в конце диска.

Автор: ЖораПрогов 22.2.2006, 09:04
> Alex
> 499907 записей
Извиняюсь - не уточнил, значения FIELD2>FIELD1.
Сейчас попробую с индексом по двум полям, год назад Interbase кричал (план запросов)что по нему он искать не хочет

Автор: ЖораПрогов 22.2.2006, 10:55
Да получилось на почти такой же ЭВМ 156мс при также сгенеренных данных
Поля FIELD1, FIELD2 BIGINT индекс по 2 полям

но проблема с исходной базой осталась - индекс по двум полям не используется, буду разбираться

СПАСИБО

Автор: Akella 22.2.2006, 10:59
Короче, ставь FireBird и не мучайся в поисках - а то времени на разработку не останеться.
У этого сервера прекрасная произвадительность при сравнительно малых требованиях к железу - это раз, кроссплатформенность (хоть на линух, хоть на винду) - это два, бесплатность - это три, сервак не требует практически никаких настроек - это четыре, для FB/IB есть шикарная визуальная среда разработки IBExpert (тоже бесплатная для СНГ) - это пять, на одной машине можно устанавливать несколько серверов одновременно - это шесть, файл БД занимает 1 файл, без всяких там журналов транзакций - это семь, для FB есть шикарные компоненты доступа http://www.devrace.com/ и компоненты построения древовидных структур http://home.sinn.ru/~mapnn/index_ru.html
компоненты не только шикарные, но еще и недорогие относительно их функционала
Добавлено @ 11:01
это не реклама, это просто опыт работы smile

Автор: Alex 22.2.2006, 11:08
Цитата(ЖораПрогов @ 22.2.2006, 10:55 Найти цитируемый пост)
но проблема с исходной базой осталась - индекс по двум полям не используется, буду разбираться

Индекс действительно по умолчанию не используется, но можно принудительно заставить его использовать при выполнении выборки

Код

select * from new_table nt where nt.field1 > 2000800 and  nt.field2 < 2000800
PLAN (NT INDEX (NEW_TABLE_IDX3))

Автор: ЖораПрогов 22.2.2006, 16:02
>Akella
smile Как не странно ничего нового smile И это не реклама - согласен. Но скорости не хватает мне и у него по-этому я тут и задаю вопросы

С днем военного всех.

Автор: ЖораПрогов 24.2.2006, 16:55
>Akela
спсибо

Сейчас вывод уже следующий, если оставаться на IB или FB надо базу(таблицу) переделывать

Вчера пробовал MS SQL Server
он показал 800мс на тех же данных, правда комп был слабоват - с выходом на работу попробую на нормальной машине.

Страно, а что до сих пор не было сравнительных (независимых) подобных тестов серверов? Хотя что то мне думается если MS SQL проиграет то это будет не много.

Есть СУБД empress (встраиваемая) - мне посоветовали мол используется для решения задач реального времени. Если есть по ней мнение
буду очень признателен.
Добавлено @ 16:57
>Alex
спасибо

Автор: Alex 24.2.2006, 17:09
Цитата(ЖораПрогов @ 24.2.2006, 16:55 Найти цитируемый пост)
Страно, а что до сих пор не было сравнительных (независимых) подобных тестов серверов? Хотя что то мне думается если MS SQL проиграет то это будет не много

Ничего странного не каждый день возникают задачи когда в одной таблице 3000000 записей и так важно время выборки, обычно при выборке еще кучас связей между таблицами (у меня в нынешнем проекте есть запрос с 50 связями и его выполнение даже секунду или две это не критично)

Автор: SergeBS 24.2.2006, 17:52
Akella,
И еще 2 "плюса":
- autoincrement отсутствует как класс (поэтому платите за ФИБы и/или корячьтесь с генераторами)
- масштабируемости нет вообще (поэтому если начнет тормозить, то единственный выход - застрелиться).

ЖораПрогов,
Цитата

Я сравнил его с Cache -  Лучше в поисковеке это слово не писать  Кроме рекламы Вы ничего не найдете. Я на него неделю убил

Плохо искал. Гугль конечно друг человека, но мозги не заменит. Ссылку кинуть?

Цитата

Страно, а что до сих пор не было сравнительных (независимых) подобных тестов серверов? Хотя что то мне думается если MS SQL проиграет то это будет не много.

Кто сильнее: слон или кит?
Сравнивать серверы смысла нет по очень простой причине: они каждый под свою задачу заточены, как правило. А те которые не заточены, а с понтом универсальные - редкостное "гэ".
Примеры:
классическая связка MySQL-Apache для веб-сервиса.
MS SQL - для складских задач.
Cache - для организации справочно-информационных структур.
И что тут мерять? Сколько запросов может обслужить? - Так запрос запросу рознь.
Да, чтобы потом локти не кусать: попробуй свою таблицу покрутить на разных серваках. И чтобы индексы были правильные. Тут тонкость в том, что у MS SQL например первичный(ключевой)(clustered) индекс задает расположение данных по страницам. Неправильный индекс срубит напрочь производительность.
А по большому счету тормоза будут следующие:
- диски
- сеть
Все остальное примерно одинаковой шустрости, как ни крути, у любого SQL-сервера. Просто что-то удобно под одно, что-то под другое.(Лимончик под коньяк, огурчик под водку smile )

Автор: chief39 24.2.2006, 18:12
Цитата(SergeBS @ 24.2.2006, 17:52 Найти цитируемый пост)
классическая связка MySQL-Apache для веб-сервиса.

Первый раз слышу насчёт "заточенности". Просто это стандарт де-факто для шлёпания маленьких сайтиков, потому что маленький, несложный и бесплатный.
И берут отнюдь не от заточенности, а потому что платное и мощное не надо.
И, кроме того, "потому что Петя вон тоже на mysql, и Вася, значит и я буду". А вэб-вэбу рознь. Он совершенно поверх СУБД. И для любых предметных областей. Как и СУБД. Участвовал в вэб-проекте для склада. Это вэб? Или склад?
Сейчас проект тоже весь вэбовый. Но база - оракл. Может ещё на MS переведём. Но уж никак не на mysql. Ибо не потянет такой вэб. smile
Вот уж M$совцы удивились бы, когда узнали, что они всё это время под склад "точат" smile

P.S. В общем в спор ввязываться не буду, просто не стоит такие догмы громоздить. Сапёрная лопатка тоже для копания "заточена"(причём создателями изначально), но если "доточить" - то и рубит на ура.

Автор: SergeBS 27.2.2006, 13:30
ЖораПрогов,
Вдогонку: я обязательно бы попробовал MySQL. Поскольку можно поиграть типами таблиц, а если получится как и на других, то просто сделать кластер из 2-3 (20 smile ) серверов. За бесплатно. И дисковые тормоза можно убрать аналогично - 2-3 (20 smile ) дисков воткнуть и сделать таблицы типа RAID, опять же на халяву.

Автор: ЖораПрогов 3.3.2006, 11:43
Мужики, поставил MS SQL Server2000
сделал такую же базу, забил опять такими же данными
инсертилась она медленей, а вот селект 0.090 секунды быстрее против 0.180 сек InterBase

так что вывод - надо брать и тестировать теперь в совокупе с клиентским доступом.
Что быстрее IBX, IBPlus vs ADO smile



Автор: Alex 3.3.2006, 11:50
При тесте FIB+ ВНИМАТЕЛЬНО смотрите настройки компонентов, т.к. компоненты мощные и многофункциональные и для некоторых операций выполняют дополнительные запросы к базе. Хотя я думаю, что все компоненты покажут практически одинаковые результаты.

Автор: SergeBS 3.3.2006, 12:20
ЖораПрогов,
Если уж так волнует скорость, то сначала просто прикинь, сколько данных должно улетать на всех клиентов за секунду (примерно, по порядку величины). Затем сравни со скоростью сетки и диска.
Я считаю, что это 2 главных тормоза. Остальное исправимо.

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)