Модераторы: skyboy, MoLeX, Aliance, ksnk
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Грабинг страниц? вытаскивать информацию с других сайтов 
:(
    Опции темы
ZeusX
Дата 16.8.2007, 18:12 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 111
Регистрация: 17.11.2006

Репутация: нет
Всего: нет



есть страница которая выводит таблицу с данными (данные обновляются)... подскажите как можно осуществить постоянный грабинг информации данных со страницы...??? 
PM MAIL   Вверх
roskov
Дата 17.8.2007, 09:35 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 16
Регистрация: 17.8.2007

Репутация: нет
Всего: нет



cURL + cron тебе в помощь...
PM MAIL   Вверх
qpeHukc
Дата 17.8.2007, 15:11 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 44
Регистрация: 18.12.2005
Где: Москва

Репутация: нет
Всего: нет



а вот еще насчет грабинга - есть каталог - дерево, мне с него надо собрать данные

читаю ссылки, перехожу по ним на страницы, которые надо парсить

каталог огромен. в процессе чтения данных с сайта происходит закрытие сокета, скрипт падает.

я так понимаю это происходит из за того, что я слишком активно читаю - занимаю много ресурсов сайта. пробовал читать по странице в секунду, не помогло. если делать большие задержки, процесс грабления затянется слишком на долго



посоветуйте плз какое-нибудь решение, если оно присутствует в природе.
PM MAIL ICQ   Вверх
fraer
Дата 17.8.2007, 17:33 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 24
Регистрация: 14.11.2006

Репутация: нет
Всего: нет



если под Юниксами - отправляй процесс с грабингом страницы в бэкграунд, и пусть сама система сушит себе голову. А в процессе проверку на успешное завершение - если нет - сначала.
PM MAIL   Вверх
  
Ответ в темуСоздание новой темы Создание опроса

Внимание: данный раздел предназначен для решения сложных, нестандартных задач.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Для профи | Следующая тема »


 




[ Время генерации скрипта: 0.0643 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.