Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > PHP: Общие вопросы > Fatal error: Out of memory

Автор: DenWPF 24.8.2011, 14:22

Делаю парсер для сайтов, парсер уникальный по этому самое важно чтобы он работал со всеми сайтами, и не выдавал никаких ошибок, если они происходят, а когда они происходят заходить на следующий сайт.

Есть csv файл, я из него достаю к 1000 сайтов(хотя бы 100).

После запускаю цикл по всем этим сайтам.

И вылетает ошибка Fatal error: Out of memory.

С хостером договориться не получиться.

Кстати, я использую phpQuery для парсинга.

Я пытался очищать unset, но как-то оно не очень помогает.

Может быть при запросе к сайту через Curl проверять его размеры, и если он большой, то не разрешать работу с ним.

Но как высчитать какой может быть сайт, чтобы не было ошибки.

Добавлено через 1 минуту и 21 секунду
Кстати, если я один этот сайт разбираю, то всё хорошо места достаточно.

Автор: cmygeHm 25.8.2011, 08:55

Ты в БД все пишешь? Ошибка вроде как при работе с БД. Покажи полное сообщение об ошибке.

Автор: idti 25.8.2011, 09:13

Цитата(DenWPF @ 24.8.2011, 14:22

)

Кстати, если я один этот сайт разбираю, то всё хорошо места достаточно.

Правильно, делай по одному.

Цитата(DenWPF @ 24.8.2011, 14:22

)

И вылетает ошибка Fatal error: Out of memory.

А сколько памяти у тебя есть?

Цитата(DenWPF @ 24.8.2011, 14:22

)

С хостером договориться не получиться.

Хостер сильно ограничил память? Поменяй хостера.

Цитата(DenWPF @ 24.8.2011, 14:22

)

Я пытался очищать unset, но как-то оно не очень помогает.

Это смотря, что пытаешься очистить, может и не должно помочь.

Автор: DenWPF 25.8.2011, 18:41

Хорошо, а как можно запускать каждый сайт отдельно, т.е у меня есть цикл, в котором...

а знаю, буду передавать на другой файл get запросом.