Здравствуйте.
Столкнулся со следующей проблемой.
Есть 8 сайтов с разными товарами. На каждом из сайтов, примерно по 250 товаров.
Я спарсил все товары только с одного сайта. По полученной ссылки на товар я спарсил описание и адрес. Отправил все в базу данных. 
Проделывая вышеупомянутые действия вылетала ошибка: Fatal error: Allowed memory size of 73400320 bytes exhausted (tried to allocate 72 bytes) in...
Решил данную проблему с помощью файла .htaccess (php_value memory_limit 128M). Далее мне нужно провести геокодирование полученных адресов, что еще сожрет памяти. Также остается проделать тоже самое еще с 7-ю сайтами. Я еще не пробовал, но думаю, что хостинг, на котором лежит сайт, не выдержит.
Как можно выйти из подобной ситуации?
Можно ли все действия разбить на отдельные файлы и подключить потом их через include или require (есть ли в этом смысл)??
Или нужно покупать выделенный хостинг??
Буду очень благодарен всем, кто решит помочь ))

Разбить действие на шаги. К примеру, за один шаг добавлять не более 5 товаров. Далее перегружать скрипт и парсить новые. Тут главное ставить метку какие товары уже есть в БД

А как это можно реализовать?

1. Собираем все ссылки на все товары, записываем их в БД(не в файл! а имено в базу данных, для удобства). В БД будет 2 поле: первое - сама ссылка, вторая - статус
2. Запросом в БД получаем 5 последних ссылок со статусом 0(т.е. те которые мы не обошли). В цикле проходимся по этим ссылкам, читаем и сохраняем информацию о товарах. После каждого сохранения меняем статус на 1
3. После завершения цикла, перегружаем страницу обычным <META REFRASH>
4. Опять повторяем шаг 2, и так пока в БД не останиться товаров со статусом 0

Я надеюсь это партнерские сайты, и ты не воруешь контент?

А можно с помощью такого метода сначала получить все ссылки на товары с 8 сайтов, потом порционно, по 50 штук, вытащить информацию и потом продолжить выполнение остальных скриптов (все в одном файле)???

Смысл данного алгоритма в том чтобы дозировать обрабатываемою информацию. А будет ли это в одном файле, на какое кол-во доменов распределять обработку и прочее - это все второстепенные вопросы реализации