| Цитата | | Вообще 3400 источников, ежесекундно - по объему походит на технологии Big data. |
3400 источников, ежэсекундно, по 20 допустим байт на источник -- это аж цэлых 70 килобайт в секунду. Пигдатей некуда, чо. Ну да, за год -- получается два тэрабайта. Но два тэрабайта -- это тожэ нормальный домашний HDD.
| Цитата | | Вам придется иметь дело с NoSQL СУБД типа Redis, MangoDB. |
У Вас уровень хабра, честное слово.
Добавлено через 8 минут и 50 секунд
| Цитата | | выборка вида: получить все данные с такого-то числа по такое-то число источника номер такой-то ... |
Ага. Тогда я бы посоветовал не мудрствовать лукаво -- а писать в файлы самому. Файл -- источник, запись -- одна секунда. Если в одну секунду приходят две записи -- перезаписывать. Если вообще не приходят -- не записывать, там нули будут. Ну, или сделать какой-то шаблон для умолчания, чтобы было понятно, что незаписано.
Запись в каждый файл осуществлять большыми порцыями (килобайт хотя бы по 256). Да, придётся долго ждать (по часу), пока записи не попадут в окончательный файл. И записи будут теряться при пропадании питания -- хотя это, как раз, вопрос решаемый, за счёт сплошного журнала, в который записывается до записи в основные файлы. Учитывая достаточно детский объём записываемого (70 kB/s) -- можно себе позволить.
Место в файле резервировать ещё бОльшыми порцыями. Мегобайт по 50. Чтобы просто оно последовательно было, для удобства выборки.
Выборка источника такого-то за такое-то время будет банальной: по времени -- вычисляешь смещение, берёшь и читаешь всё, что записано. Чтение -- линейное, так что скорость будет близка к скорости чтения со шпинделя. Итого год одного источника будет читаться секунды за 3.
Поискать потоковую СУБД именно под твоё применение можно -- я в них не очень, честно говоря, разбираюсь. Но готовая СУБД -- это некоторые накладные расходы, плюс чаще всего расходы на её администрирование, твоё обучение. Надо ли всё это в таком простом случае?
Добавлено через 12 минут и 37 секунд
Да, про резервирование места под файлы --- если не резервировать, то файлы будут записаны на диск вперемешку, что приведёт к сильному падению линейной скорости чтения из одного файла. В общем, до некоторой степени это допустимо -- но надо ли?
И про запись большыми блоками по десяткам, а то и сотням килобайт -- запись в параллель в 3400 разных файлов, каждый из которых зарезервировал для себя по несколько десятков мегабайт, приведёт к тысячам перемещений головки в секунду. А оно небыстрое, дажэ в рамках примерно одной области диска. Так что методом в лоб можно просто неуспеть это всё записать, дажэ на мизерной скорости 70 килобайт в секунду. Да и если успеет -- то всё равно остаток скорости диска на чтение сильно поуменьшытся. |
