![]() |
Модераторы: skyboy, MoLeX, Aliance, ksnk |
![]() ![]() ![]() |
|
studentigor |
|
|||
Опытный ![]() ![]() Профиль Группа: Участник Сообщений: 397 Регистрация: 14.11.2008 Репутация: нет Всего: нет |
Всем привет!!!
Вобщем, ситуация такая.. Есть доска объявлений, и я маленьким грабером хочу её всю загнать себе в базу. Размер доски - 200 страниц по 10 объяв на каждой. Я беру то, что у объявы идет как короткое описание. Сначала скрипт прорабатывал 35страниц, и выкидывались ошибки, что мол нехватает времени, потом Allowed memory size. Я limit time задал 0, а memory limit - 500М. Последнее - не очень правильное решение. Вобщем граббер прогнал 160 страниц и моя тачка аж подвисла, а на хосте - только 80 и просто остановился. Структура кода такая: 1 - выкупаю количество страниц 2 - задаю цикл for(200 раз должен пройти) 3 - в цикле просто стягиваю данные и пишу в базу Теперь вопрос: Можно ли как-нить сделать так, чтобы когда я стянул данные из страницы и запихнул в базу, очистить из оперативы все чте туда попало на первой итерации, и чтобы уже следующая начиналась как новый скрипт, только с другим урлом. |
|||
|
||||
bars80080 |
|
|||
![]() прапор творюет ![]() ![]() ![]() ![]() Награды: 1 Профиль Группа: Завсегдатай Сообщений: 12022 Регистрация: 5.12.2007 Где: Königsberg Репутация: 71 Всего: 315 |
сделай операцию пошаговой. при этом включении скрипта програбить страницы 0-99, при следующем - 100-199, и так далее
надо всего лишь сохранять число програбленных страниц а вообще, воровать не хорошо |
|||
|
||||
studentigor |
|
|||
Опытный ![]() ![]() Профиль Группа: Участник Сообщений: 397 Регистрация: 14.11.2008 Репутация: нет Всего: нет |
Я знаю что нехорошо,
но так я облегчу работу одному сотруднику, который делает тоже - но вручную. |
|||
|
||||
bars80080 |
|
|||
![]() прапор творюет ![]() ![]() ![]() ![]() Награды: 1 Профиль Группа: Завсегдатай Сообщений: 12022 Регистрация: 5.12.2007 Где: Königsberg Репутация: 71 Всего: 315 |
||||
|
||||
studentigor |
|
|||
Опытный ![]() ![]() Профиль Группа: Участник Сообщений: 397 Регистрация: 14.11.2008 Репутация: нет Всего: нет |
Я с Вами согласен. Но задание есть задание
|
|||
|
||||
![]() ![]() ![]() |
Правила форума "PHP" | |
|
Новичкам:
Важно:
Внимание:
Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, IZ@TOP, skyboy, SamDark, MoLeX, awers. |
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей) | |
0 Пользователей: | |
« Предыдущая тема | PHP: Общие вопросы | Следующая тема » |
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |