![]() |
Модераторы: skyboy, MoLeX, Aliance, ksnk |
![]() ![]() ![]() |
|
DenWPF |
|
|||
Эксперт ![]() ![]() ![]() Профиль Группа: Завсегдатай Сообщений: 1659 Регистрация: 26.9.2009 Репутация: нет Всего: 1 |
Делаю парсер для сайтов, парсер уникальный по этому самое важно чтобы он работал со всеми сайтами, и не выдавал никаких ошибок, если они происходят, а когда они происходят заходить на следующий сайт.
Есть csv файл, я из него достаю к 1000 сайтов(хотя бы 100). После запускаю цикл по всем этим сайтам. И вылетает ошибка Fatal error: Out of memory. С хостером договориться не получиться. Кстати, я использую phpQuery для парсинга. Я пытался очищать unset, но как-то оно не очень помогает. Может быть при запросе к сайту через Curl проверять его размеры, и если он большой, то не разрешать работу с ним. Но как высчитать какой может быть сайт, чтобы не было ошибки. Добавлено через 1 минуту и 21 секунду Кстати, если я один этот сайт разбираю, то всё хорошо места достаточно. |
|||
|
||||
cmygeHm |
|
|||
Шустрый ![]() Профиль Группа: Участник Сообщений: 96 Регистрация: 3.12.2008 Репутация: -1 Всего: -2 |
Ты в БД все пишешь? Ошибка вроде как при работе с БД. Покажи полное сообщение об ошибке.
|
|||
|
||||
idti |
|
|||
![]() Шустрый ![]() Профиль Группа: Участник Сообщений: 139 Регистрация: 28.2.2009 Где: pnz Репутация: нет Всего: нет |
||||
|
||||
DenWPF |
|
|||
Эксперт ![]() ![]() ![]() Профиль Группа: Завсегдатай Сообщений: 1659 Регистрация: 26.9.2009 Репутация: нет Всего: 1 |
Хорошо, а как можно запускать каждый сайт отдельно, т.е у меня есть цикл, в котором...
а знаю, буду передавать на другой файл get запросом. |
|||
|
||||
![]() ![]() ![]() |
Правила форума "PHP" | |
|
Новичкам:
Важно:
Внимание:
Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, IZ@TOP, skyboy, SamDark, MoLeX, awers. |
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей) | |
0 Пользователей: | |
« Предыдущая тема | PHP: Общие вопросы | Следующая тема » |
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |