Вот в facebook'е более 600.000 пользователей. Ми всегда просто создаем таблицу User и работаетм со своими нагрузками и справлаемся. Но как работают в facebook'е или google'е, как они без проблем хранят такие количества данных ? Да и обрашений к базе довольно многа. Понемаю что там неодна база данных. Но если их десятки, то репликация данных незанемает много времени ? Или в каждой базе хранятсья данные (та же таблица) , но которые попадают в определленый range ?

600М

Да да, за мало ноликов написал  Но все же как они справляются со столками запросами.

не самое свежее, но все же.

Ну если иметь очен много деняг, то вероятно и возможно поддерживать таку бд. А если например есть 1000 $ в месяц на поддержку базы, в каторой должно храница данные про каждый рекуест (все параметры например). Пользователей за месац 50М -> За месац 50М строк в таблице, селектить по ид надо толкько. Данные надо хранить за год -> 600М строк. Потянет один сервак такое, ну или если надо больше в расположении 1000$ в месяц ?

Прр.. тут ниодна база не справится сама собой. У них там одних логов выходит под 5 терабайт в день, которые нужно парсить (для этого кстати используется у них Apache Hadoop). У них базы кластеризуются на оч много инстансов, используются data grid'ы. В общем в сети достаточно много информации по этому поводу, вот например.

gelo86

У нас сейчас:

База

1 таблица с 3,5МЛ записей. Текст + id1
1 таблица с 1МЛ записей. Текст + id2
2 таблицы с 60МЛ записей каждая  id1 + id2 

Сервер с i7 и 4 ГБ озу вполне справляется с:

Поиск по текстовому полю в первой таблице. с получением id1.
По полученному id1 поиск всех id2 из каждой таблицы с 60мл записей.
Выборка всех текстовых значений из таблицы с 1мл записей по id2.

Все это делается 1 запросам. 

Правда, у нас нет миллионов запросов на выборку, как у фэйсбука   


На отдельном таком же сервере идет заполнение таблиц по 60мл записей. Средняя скорость записи - 30000 в минуту ( это не ограничение сервера - с такой скоростью мы получаем данные ), при этом при каждой записи идет селект id1 из таблицы с 3,5мл записей, по текстовому полю, и если не найдена запись идет инсерт. Индекс по id1 на таблицу с 60мл записей ставится примерно за 20 минут. 

Это сообщение отредактировал(а) Vasay - 30.6.2011, 21:14

А если планируеться иметь пару таблиц с х-милионнами записей, но ети таблицы несвязанны с другими таблицами всей системи (их гдето 40). Планируеться использовать Hibernate. Если ети милионные талбицы сейчар иметь на PpstgreSQL + Hibernate (как и всё остальное), а в дальнейшом для тех таблиц перейти на другие технологии, а остольное оставить на Relational DB (PostgresSQL) ? Просто ето будет новый проект, пока раскрутиться, пройдет как минимум год, такшто в первый год Х-миллионов записей небудет (максимум 1 млн.), а за тот год подобрать / выучить / интегрировать для тех данных подходящию технологию (в коде все равно используеться DAO, такшто на код ситемы недолжно повлиять перемена хранилища) ?

Это сообщение отредактировал(а) gelo86 - 30.6.2011, 22:04

по мордакниге: http://www.infoq.com/presentations/Infrast...ure-at-Facebook

ИМХО: миллионные запросы достаточно легко достигаются, если у вас система обладает возможностями к горизонтальному масштабированию. Т.е. организация кластера с Data Sharding-ом (и read и write операции распределяются по узлам). Большинство NoSQL решений, например MongoDB, специально сделаны для этих целей.