Добрый день. Есть следующая ситуация:
- Веб-сайт, на сайте множество страниц, на каждой странице php скрипт
- при обращении к странице скрипт записывает в лог-файл строку со следующими параметрами:
<имя страницы> <времы вызова страницы> <ИП-адрес получателя страницы>
Раз в сутки к лог-файлу подключается программа, перносит данные к себе и обнуляет лог-файл
на текущий момент объем строк может быть от 30 до 100 тысяч строк в сутки (число страниц Х число посещений)
собирать данные нужно в течение нескольких лет, это уже десятки а то и сотни миллионов строк
кроме того периодически нужно получать выборки из это массива строк по заданному параметру (например ИП-адрес, в периоде с такого то числа по такое), для анализа

Вопрос:
как правильно организовать все выше перечисленное? наверно БД? 
если у кого есть опыт решения похожих задач, подскажите, если не сложно

в верном направлении мыслите, товарищ)

не вижу ничего сложного в задаче.
какие конкретно моменты не ясны?
Парсишь текст, пихаешь в таблицу в БД...

  

неясных моментов есть, для того кто пока не работал с БД в Делфи:
- в Делфи есть компоненты для работы с БД, будут ли они работать со всеми типами БД(оркуль, mySQL и еще штук пять разных)
- выбор типа БД по ряду параметров(ну это видимо отдельная тема для другого раздела форума)
- нет ли примера программы желательно с исходником демонстрирующей процесс записи-чтения-сортировки из БД, учимся на чужих ошибках

Зачем одновременно столько?
Одной СУБД должно вполне хватить. Я бы взял Oracle или Firebird или MS SQL.
Если нужно одновременно несколько СУБД, то придётся использовать dbExpress (я не рекомендую) или FireDAC, или UNIDAC (рекомендую).

Добавлено @ 10:51

Примеров полно. Но тебе стоит изучить в первую очередь SQL и понять, что такое транзакции и с чем их едят.
Если брать в расчёт цену, качество, удобство, то бери связку Firebird 2.5, FibPlus, IBExpert и книгу Хелен Борри

Почему Firebird? Есть достаточно много материалов на русском, бесплатно, русскоязычные живые форумы у нас, на sql.ru и на http://ibaseforum.ru. Довольно популярная СУБД. Кроссплатформенность. Лёгкость в администрировании, можно сказать, что вообще не нуждается в администрировании, установил и забыл. Поддерживает все современные стандарты SQL.

Почему FibPlus? Опять же есть документация на русском, русскоязычная поддержка. Достаточно популярные компоненты. Компоненты прямого доступа, а это важно относительно производительности клиентской части.

IBExpert - это IDE для работы с Firebird. На русском, с русскоязычной поддержкой. Бесплатно. Довольно шустрая и функциональная IDE.

переделайте, пусть пишет прямо в базу
К базе с логами может подключаться, хоть веб-интерфейс, на тот же сайта можно модуль дописать, хоть клиентская программа на дельфи. Но если данных многова-то, то лучше с базой локально работать.

да не может скрипт писать в БД
БД на компутере аналитика
аналитик, приходит на работу, включает компутер
в компутере запускается программа, подключается к веб-серверу по ФТП считывает лог-файл, в который в течении суток скрипты писали данные о посещаемости страниц, передает данные данные в БД (десятки тысяч строк 3...5 полей в каждой строке в лог-файле за сутки)

аналитик заказывает программе сделать выборку по таким то полям БД (дата, ИП-адресс, имя страницы, например)
программа (та же самая, там не только ФТП-клиент) организует запросы к БД и в табличном виде выдает результат

почему такая логика? потому что хост не свой, и хранить на чужом хосте гигибайты данных с важной информацией нецелесообразно

Хоть форум не тот , но вопросы по БД задам.
Нужна БД со следующими параметрами
- вместимость миллиарды записей(3...5 полей)
- встроенные в БД защита от сбоев файловой системы НТФС(битые клястеры  ЖД, ошибки записи чтения ФС  и прочее)
- встроенная дублированиие данных(типа РЕИД зеркало)
- без тормозов операции чтения-записи
- возможность организовать максимально быстрый поиск нужных данных
- возможность все выше перечисленное написать в ДЕЛФИ(написать программу для работы с этой БД)
Вопрос: какая БД больше всего соответствует перечисленным требованиям? 

Это сообщение отредактировал(а) Pcrepair - 5.10.2013, 14:57

ORACLE

бери sqlite , кидай базу  на терабайтный винт и пиши пиши пиш, раз в месяц или в год закрывай базу и пиши в новую.

DYUMON, у Вас есть реальный опыт работы с терабайтными базами Sqlite? На сколько мне известно, одним из недостатков Sqlite является плохая работа с большими базами. 

Думаю, что Sqlite можно было бы использовать как хранилище настроек или для небольшой базы в силу своих ограничений.