Модераторы: skyboy, MoLeX, Aliance, ksnk
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Fatal error: Out of memory, И как с ней бороться 
:(
    Опции темы
DenWPF
Дата 24.8.2011, 14:22 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1659
Регистрация: 26.9.2009

Репутация: нет
Всего: 1



Делаю парсер для сайтов, парсер уникальный по этому самое важно чтобы он работал со всеми сайтами, и не выдавал никаких ошибок, если они происходят, а когда они происходят заходить на следующий сайт.

Есть csv файл, я из него достаю к 1000 сайтов(хотя бы 100).

После запускаю цикл по всем этим сайтам.

И вылетает ошибка Fatal error: Out of memory.

С хостером договориться не получиться.

Кстати, я использую phpQuery для парсинга.

Я пытался очищать unset, но как-то оно не очень помогает.


Может быть при запросе к сайту через Curl проверять его размеры, и если он большой, то не разрешать работу с ним.

Но как высчитать какой может быть сайт, чтобы не было ошибки.

Добавлено через 1 минуту и 21 секунду
Кстати, если я один этот сайт разбираю, то всё хорошо места достаточно.
PM MAIL   Вверх
cmygeHm
Дата 25.8.2011, 08:55 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 96
Регистрация: 3.12.2008

Репутация: -1
Всего: -2



Ты в БД все пишешь? Ошибка вроде как при работе с БД. Покажи полное сообщение об ошибке.
PM MAIL   Вверх
idti
Дата 25.8.2011, 09:13 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 139
Регистрация: 28.2.2009
Где: pnz

Репутация: нет
Всего: нет



Цитата(DenWPF @  24.8.2011,  14:22 Найти цитируемый пост)
Кстати, если я один этот сайт разбираю, то всё хорошо места достаточно. 

Правильно, делай по одному.
Цитата(DenWPF @  24.8.2011,  14:22 Найти цитируемый пост)
И вылетает ошибка Fatal error: Out of memory.

А сколько памяти у тебя есть?
Цитата(DenWPF @  24.8.2011,  14:22 Найти цитируемый пост)
С хостером договориться не получиться.

Хостер сильно ограничил память? Поменяй хостера.
Цитата(DenWPF @  24.8.2011,  14:22 Найти цитируемый пост)
Я пытался очищать unset, но как-то оно не очень помогает.

Это смотря, что пытаешься очистить, может и не должно помочь. 
PM MAIL   Вверх
DenWPF
Дата 25.8.2011, 18:41 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1659
Регистрация: 26.9.2009

Репутация: нет
Всего: 1



Хорошо, а как можно запускать каждый сайт отдельно, т.е у меня есть цикл, в котором...


а знаю, буду передавать на другой файл get запросом.
PM MAIL   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "PHP"
Aliance
IZ@TOP
skyboy
SamDark
MoLeX

Новичкам:

  • PHP редакторы собираются и обсуждаются здесь
  • Электронные книги по PHP, документацию можно найти здесь
  • Интерпретатор PHP, полную документацию можно скачать на PHP.NET

Важно:

  • Не брезгуйте пользоваться тегами [code=php]КОД[/code] для повышения читабельности текста/кода.
  • Перед созданием новой темы воспользуйтесь поиском и загляните в FAQ
  • Действия модераторов можно обсудить здесь

Внимание:

  • Темы "ищу скрипт", "подскажите скрипт" и т.п. будут переноситься в форум "Web-технологии"
  • Темы с именами: "Срочно", "помогите", "не знаю как делать" будут УДАЛЯТЬСЯ

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, IZ@TOP, skyboy, SamDark, MoLeX, awers.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.0672 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.