Привет всем.

Руководство тут исполнило одну замечательную штучку в итоге у меня появилось дополнительного геморроя в обработке больших по объему файлов (от 200мб и ...), как не странно это sql дамп баз. обновление происходит примерно раз в 1-2 дня. Сейчас у меня скрипт на сервер стаскивает этот файл раз в 24 часа и пытается с помощью mysqli выполнить. но разумеется он обламывается (памяти не хватает, а эти настройки мне не доступны).

В итоге пришло тока одно решение - парсить один большой файл в вспомогательную папку temp на не сколько маленьких (приблизительно по 5 мб - самый оптимальный вариант). Но тут возник вопрос: а как собственно распарсить это без особых напрягов на сервер? 
Слал запросы на гуглояндекс в итоге нечего вразумительного не нашел.

Может кто нибудь из участников сталкивался с этим, и возможно нашел для себя решением - поделитесь   
 

если обламывается только на инсертах в локалку я в таких случаях делаю следующее

1. делаю коннект к базе $conn
1. инсерты в базу выполняю транзакциями например по 100
2. после инсерта закрываю коннекшн $conn = null и создаю новый

DenisSh, у хостера стоит ограничение на память.

на какую именно память стоит ограничение?

theworldcreator, а если \; попадётся?

это снизит нагрузку на сервер?

Хм, логично)
Ну можно в принципе немного извратится, заменив вначале все символы между ' ' и " " на что нибудь левое(лишь бы количество символов осталось тем же), потом заменив все \; на два символа(неважно каких). Ну а потом произвести поиск позиций символа ';' в получившемся тексте и воспользоваться этими позициями для парсинга исходного.

Это сообщение отредактировал(а) theworldcreator - 19.12.2008, 19:04

theworldcreator, Угу... сложные текстовые операции над 200+мб текстом на PHP? Это сказки, однако...

Добавлено через 4 минуты и 32 секунды
MoLeX, imho, dumper примерно такую задачу решает, и, вроде, успешно... Во всяком случае можно посмотреть как он читает поблочно (и из архива!!!) 

В каком месте памяти-то не хватает?

А присущи ли дампу характерные особенности? Например MySQL Administrator перед каждой операцией создания таблиц пишет

а перед наполнением таблиц


Если такие особенности есть, берем первые N метров файла, ищем там последнюю специфическую строку и обрезаем все что после нее. Если ничего не остается(только комментарии) берем больший кусок дампа.

ИМХО будет оптимально

Это сообщение отредактировал(а) theworldcreator - 19.12.2008, 19:24

MoLeX, чево-то я не понял... 
1. Дамп проходит предварительную обработку или просто вставка?
2. За счет чего сприт отваливается по памяти? Если чиатть и выполнять блоками то расход памяти будет минимальным.

выполнение sql запроса больше 10 мб выдает ошибку, меньшее по объему - все нормально.


ksnk, спасибо за ссылку, дома на локалхосте он себя хорошо зарекомендовал. жду следующей рабочей недели и потом отпишуься как все прошло

Это настройки mysql сервера -- max_allowed_packet. Точно не помню , но помоему есть еще несколько переменных, которые влияют. можно попробовать изменять это значение через set variable.

А 10Mb это запрос, который уже лежит в файле, или вы его формируете?

ну так а я что писал! открываем коннекшн ,запускаем транзакцию не превыщающую 10 мб, закрываем коннекшн, открываем новый коннекшн в цикле, запускаем следующую, и у вас не будет превышать 10 метров лимит! вопрос разделения файла на строки для транзакций можно решить как предлагали выше через explode.

Добавлено через 1 минуту и 4 секунды

человек написал в первом посте что доступа к изменению настроек сервера у него нет:(

да

Добавлено через 29 секунд
Народ пока вопрос решен, точно скажу в понедельник.

А к выполнению запросов? SET Syntax