Модераторы: skyboy, MoLeX, Aliance, ksnk
  

Поиск:

Закрытая темаСоздание новой темы Создание опроса
> рациональное использование memory limit 
V
    Опции темы
studentigor
Дата 13.7.2010, 12:02 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 397
Регистрация: 14.11.2008

Репутация: нет
Всего: нет



Всем привет!!!
Вобщем, ситуация такая..
Есть доска объявлений, и я маленьким грабером хочу её всю загнать себе в базу.
Размер доски -  200 страниц по 10 объяв на каждой. Я беру то, что у объявы идет как короткое описание.
Сначала скрипт прорабатывал 35страниц, и выкидывались ошибки, что мол нехватает времени, потом Allowed memory size.
Я limit time задал 0, а memory limit - 500М.  Последнее  - не очень правильное решение.
Вобщем граббер прогнал 160 страниц и моя тачка аж подвисла, а на хосте - только 80 и просто остановился.

Структура кода такая:
1 - выкупаю количество страниц
2 - задаю цикл for(200 раз должен пройти)
3 - в цикле просто стягиваю данные и пишу в базу

Теперь вопрос:
Можно ли как-нить сделать так, чтобы когда я стянул данные из страницы и запихнул в базу, очистить из оперативы все чте туда попало на первой итерации, и чтобы уже следующая начиналась как новый скрипт, только с другим урлом.
PM MAIL   Вверх
bars80080
Дата 13.7.2010, 14:01 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


прапор творюет
****
Награды: 1



Профиль
Группа: Завсегдатай
Сообщений: 12022
Регистрация: 5.12.2007
Где: Königsberg

Репутация: 71
Всего: 315



сделай операцию пошаговой. при этом включении скрипта програбить страницы 0-99, при следующем - 100-199, и так далее
надо всего лишь сохранять число програбленных страниц


а вообще, воровать не хорошо
PM MAIL WWW   Вверх
studentigor
Дата 13.7.2010, 15:23 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 397
Регистрация: 14.11.2008

Репутация: нет
Всего: нет



Я знаю что нехорошо,
но так я облегчу работу одному сотруднику, который делает тоже - но вручную.

PM MAIL   Вверх
bars80080
Дата 13.7.2010, 19:51 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


прапор творюет
****
Награды: 1



Профиль
Группа: Завсегдатай
Сообщений: 12022
Регистрация: 5.12.2007
Где: Königsberg

Репутация: 71
Всего: 315



Цитата(studentigor @  13.7.2010,  15:23 Найти цитируемый пост)
но так я облегчу работу одному сотруднику, который делает тоже - но вручную.

это не влияет на степень ужасности поступка
PM MAIL WWW   Вверх
studentigor
Дата 13.7.2010, 22:25 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 397
Регистрация: 14.11.2008

Репутация: нет
Всего: нет



Я с Вами согласен. Но задание есть задание
PM MAIL   Вверх
  
Закрытая темаСоздание новой темы Создание опроса
Правила форума "PHP"
Aliance
IZ@TOP
skyboy
SamDark
MoLeX

Новичкам:

  • PHP редакторы собираются и обсуждаются здесь
  • Электронные книги по PHP, документацию можно найти здесь
  • Интерпретатор PHP, полную документацию можно скачать на PHP.NET

Важно:

  • Не брезгуйте пользоваться тегами [code=php]КОД[/code] для повышения читабельности текста/кода.
  • Перед созданием новой темы воспользуйтесь поиском и загляните в FAQ
  • Действия модераторов можно обсудить здесь

Внимание:

  • Темы "ищу скрипт", "подскажите скрипт" и т.п. будут переноситься в форум "Web-технологии"
  • Темы с именами: "Срочно", "помогите", "не знаю как делать" будут УДАЛЯТЬСЯ

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, IZ@TOP, skyboy, SamDark, MoLeX, awers.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.0686 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.