Модераторы: Partizan, gambit
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Хранение большого количества данных 
:(
    Опции темы
eg13
  Дата 26.11.2013, 04:40 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 7
Регистрация: 4.8.2013

Репутация: нет
Всего: нет



Всем привет!
У меня возникла следующая проблема.
Необходимо хранить в программе последовательность примерно из 5 миллиардов пар чисел, где каждое из чисел имеет тип BigInteger.
Сначала нужно составить эти пары чисел, а потом осуществлять по ним поиск.
Посоветуйте, где можно хранить все это? И главное, чтобы поиск и выборка чисел происходили очень быстро.
И еще хотелось бы иметь возможность сортировки. 
PM MAIL   Вверх
gambit
Дата 26.11.2013, 12:07 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***
Награды: 1



Профиль
Группа: Комодератор
Сообщений: 1359
Регистрация: 25.6.2006
Где: я?

Репутация: 5
Всего: 40



Даже если пронумеровать всех людей на планете, и перечислить "семейные" пары, то надо 3. Что вы собрались в 5 хранить???

5 млрд записей, потянет далеко не каждая база. Ни о каких сортировках речи быть не может. О скорости выборки в 5 мрлд, речь тоже не идет. На хранение такого массива данных и его индексов нужен мощнейший сервер и даже не один. И повторюсь, ни о какой скорости, речи быть не может.

Это сообщение отредактировал(а) gambit - 26.11.2013, 12:07
PM MAIL ICQ Skype   Вверх
infarch
Дата 26.11.2013, 12:09 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 526
Регистрация: 13.3.2009

Репутация: 1
Всего: 1



База данных как бы напрашивается.
PM MAIL   Вверх
jonie
Дата 26.11.2013, 12:22 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 5613
Регистрация: 21.8.2005
Где: Владимир

Репутация: 22
Всего: 118



Думаю что понадобится писать свою базу данных (хотя стоит взглянуть в cache или подобные). На самом деле не очень сложно под такую задачу - индекс(-ы) только придумать как строить по этим парам (для поиска) (что-то вроде пространственного индекса или range-ей).


--------------------
Что-то не поняли? -> Напейтесь до зеленых человечков... эта сверхцивилизация Вам поможет...
PM MAIL Jabber   Вверх
mrbrooks
Дата 29.11.2013, 13:14 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


трололомен
****


Профиль
Группа: Завсегдатай
Сообщений: 4259
Регистрация: 4.10.2006
Где: Дол Гулдур

Репутация: 7
Всего: 306



Цитата(jonie @  26.11.2013,  12:22 Найти цитируемый пост)
Думаю что понадобится писать свою базу данных (хотя стоит взглянуть в cache или подобные). На самом деле не очень сложно под такую задачу - индекс(-ы) только придумать как строить по этим парам (для поиска) (что-то вроде пространственного индекса или range-ей). 

ы. ну это если очень захотеть, я бы использовал для подобного рода задачи SQLite и не парился. это конечно если нет академического интереса.

Это сообщение отредактировал(а) mrbrooks - 29.11.2013, 13:15
PM MAIL   Вверх
jonie
Дата 30.11.2013, 22:04 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 5613
Регистрация: 21.8.2005
Где: Владимир

Репутация: 22
Всего: 118



ну ну, я вот отказался от sqlite по причинам крайне медленной вставки даже в режиме отлючения журнала...


--------------------
Что-то не поняли? -> Напейтесь до зеленых человечков... эта сверхцивилизация Вам поможет...
PM MAIL Jabber   Вверх
AntiInt
Дата 2.12.2013, 04:06 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 145
Регистрация: 15.5.2009

Репутация: нет
Всего: нет



Рекомендую посмотреть в сторону В-дерева.
Эта структура данных обеспечит быстрый поиск в таком огромном количестве записей.
PM MAIL   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Прежде чем создать тему, посмотрите сюда:
mr.DUDA
THandle

Используйте теги [code=csharp][/code] для подсветки кода. Используйтe чекбокс "транслит" если у Вас нет русских шрифтов.
Что делать если Вам помогли, но отблагодарить помощника плюсом в репутацию Вы не можете(не хватает сообщений)? Пишите сюда, или отправляйте репорт. Поставим :)
Так же не забывайте отмечать свой вопрос решенным, если он таковым является :)


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, mr.DUDA, THandle.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Общие вопросы по .NET и C# | Следующая тема »


 




[ Время генерации скрипта: 0.1248 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.