Добрый день,

хочу разобраться в вопросе написания граберов (парсеров) на php.
Ну прочитал кучу доков как собственно реализовать сам грабер (Curl, сокеты)

Но интересует вот какой вопрос - практически любой хостинг ограничивает время выполнения PHP Скрипта.
А при грабке сайта время работы скрипта большое - может и сутки крутится скрипт.
В то же время php граберы существуют   -?
в таком случае есть какой то способ обмануть Web Сервер по поводу того сколько времени выполняется скрипт или как то разбить выполнение скрипта на части?

Подскажите пожалуйста как сделать так, что PHP грабер мог работать столько долго, сколько понадобится?

Нормальный хостинг ничего не ограничивает. Это так, к сведению.
Но то, что ты хочешь сделать  - не законно.

Сразу два вопроса возникло

1. Почему же то что я хочу делать - это незаконно? Если на сайте - есть предупреждение о том , что информация может использоваться только на сайте, то пожалуйста - никто его не грабит... Я законопослушный гражданин. А есть сайты, которые не против, чтобы информация, которая на них содержится использовалась людьми в любых видах и интерпретациях (интернет магазины) - так почему же их не сграбить? 

2. Что значит "НОРМАЛЬНЫЙ" хостинг. Сколько стоит такой хостинг в месяц ? если можно ссылку. У меня мой хостинг - 100 рублей в месяц - ограничивает меня по количеству обращений к БД по трафику и еще много почему , хотя он меня во всем устраивает. К тому же тут дело в настройках ВЕБ  Сервера - по дефолту апаче рубит коннект по моему через 2 минуты? 

Я не знаток PHP как раз только разбираюсь, но в интернет проскакивают сообщения о том, что граберы написанные на PHP ( не те которые - одну страничку парсят к себе на сайт - с этим все понятно), а те другие  - которые способны вытянуть весь сайт донор - СУЩЕСТВУЮТ - хотя я не могу понять как такие граберы обходят ограничение веб-сервера на ДЛИНУ (время) коннекта.
Может кто писал такое , поделитесь опытом. Спасибо.

   да  вроде этих грабберов прут пруди ... зачем велосипед изобретать .
Любой уважаемый сайтостроитель граббер использовать не будет   

Да...
Что тут скажешь, ребята, я задаю вопрос не о том как грабер написать и законно или не законно я это делаю, специально зашел в секцию "для профи" чтобы спросить. Как работает PHP грабер если на обычном хостинге время отработки php Скриптов ограничивается минутами? Можно было бы отмахнуться от данного вопроса мол - нет таких граберов-парсеров, однако многие заказчики, которые просят написать такой грабер на php убеждают , что граберы на php существуют (полноценные, многопоточные, которые могут вытянуть весь сайт-донор и сделать его клон или зеркало).
Вот и хочу узнать - кто нибудь делал такое ? на хостинге?

Сам я пишу граберы на perl и в основном работают они на локальной машине (то есть та же проблема с ограничением времени скрипта CGI Существует).
Может кто писал мощный грабер на php и поделится опытом?
Спасибо