Работаю с Firebird. Как лучше работать с таким огромным количеством данных. Как организовывать выборку и навигацию по всем записям. ВЫбирать ли данные как-то странично?

а нам откуда знать выбирать тебе постранично или нет! ты уж сам определись пожалуйста

Если мне допустим нужно распечатать все 70.000 записей, то как быт ьв этом случае?

вижу два пути
1. берем все данные и выводим
2. берем определенное кол-во данных, печатаем и т.д. пока не закончатся

При работе с больщим количеством данных обращайте внимание на оптимальность выборки и количестве данных передаваемых по сети... Приемы оптимизации стандартные - выбирать и передавать только то, что нужно...

Вопрос в том, как вы собираетесь печатать...

Мне иногда нужно выбрать 20.000, иногда все записи. Послеа этого как-то с ними работать, возможно запихнуть в сессию, а потом обратно их закинуть в БД. Все это нагружает приложения до безобразия и оно очень медлено работаетю Иногда вылетает ексепшин по переполнению памяти.

вот хоть убей, не вижу в этом смысла. неужели во всех 20000 записях вносятся уникальные изменения, которые нельзя систематизировать и изменить с помощью нескольких управляющих значений?

DimaSiK, Делайте постраничный вывод... Скажем по 50 записей...

А можно узнать задачу, где необходим вывод 20.000 записей сразу?

DimaSiK, упомянутая тобой СУБД может держать и несколько миллионов записей в базе данных и спокойно с ними работать.

Вопрос в ограничениях PHP. Он просто не предназначен для работы с таким обемом данных. Собственно для хранения данных и нужна СУБД, а скрипты нужны для управления работой СУБД, они должны сказать какие данные и как изменить, а уже изменять их можно при помощи СУБД. В общем думаю у тебя ошибка в области реализации задачи. Прежде всего определись а зачем извлекать сразу столько данных?

Допустим мне нужно вывести все данные из БД в файлик csv или xml формата для дальнейшего экспорта.

это вопрос?
вывод делается просто fopen($file,'w'); fwrite(); что в первом, что во втором случае

а причём здесь правка 20000 записей одновременно?

Экспорт в файл для дальнейшего экспорта? По-моему, бредово звучит..
Для записи данных из бд в файл используется  SELECT ... INTO OUTFILE

А в чем сдесь сложность? Берешь получаешь все данные и записываешь их все в файл в нужном тебе виде. Если боишся что возможна нехватка памяти возми и запиши данные в несколько приемов. Тоесть сначала записываешь допустим 5000 данных в файл потом еще 5000 и т.д. пока все данные не будут записаны в файл. Сложность возможна только в том случае если у тебя все операции не будут укладываться во время отведенное для работы скрипта по умолчанию(30 секунд) и не будет возможности это время увеличить.

[QUOTE=krundetz,3.10.2008,  23:11]
Да именно в этом и есть сложность. Вермя увы увеличить нельзя.