Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Delphi: Сети > Как организовать сбор данных с сайта на локалку?

Автор: Firebird 3.3.2009, 14:07

Добрый день!
Задача такая ...
1) Есть сайт sample.com, на котором скапливаются данные. Данные хранятся в БД MySQL.
2) Эти данные необходимо взять и передать на локальную машину.

Вариант решения ...
1) Локалка отправляет запрос на сайт в виде: sample.com?task=get_data&start=01.03.2009&stop=03.03.2009 , т.е. методом GET передает параметры
2) php-скрипт, получив обращение с этими параметрами делает выборку данных за указанный интервал времени, сохраняет их в файл, затем создает архив этого файл, например data.zip
3)Локалка, через некоторое время, которое необходимо для создания архива, пытается скачать этот архив
4)Локалка, получив этот архив, распаковывает его, данные из файла сохраняет в свою БД

Это правильное решение? я его еще не пробовал реализовать, сначала хотел обсудить варианты ...

Автор: Virtuals 3.3.2009, 17:19

Firebird, если локальная машина имеет белый IP то почему-бы не настроить на хостинге разрешение на доступ с этого IP к SQL ?
и получать данные прямым сикульным запросом.

и развитие вашего варианта....
если количество данных не слишком большое, то стоит глянуть в сторону RSS блока (кстати его потдерживают большинство движков форумов, на php считай что прям на готовенькое сядеш)

идея лент новостей как раз в реализации локальной бд, с синхронизацией с внешним сервером.

ЗЫ ну по крайне мере у меня так, мой клиент собирает инфу с форумов (этого и других smile

) с помощью *.xml и хранит все в локальной бд., главное чтоб клиент опрос делал не реже чем глубина обновления на форуме ;)
напр http://forum.vingrad.ru/forum/rss/forums/86.xml

Автор: Firebird 3.3.2009, 18:57

IP адрес динамический ... т.е. не получится настроить разрешение на хостинге ...

xml пока мне не знаком ...

Частота запросов на сайт может быть довольно высокой, от 30 до 5 мин ... сами архивы я думаю будут небольшими, от 1кБ до 20 кБ, зависит от скорости наполнения БД сайта ... практика покажет ...

Как лучше всего выполнить закачку файла (data.zip)? Какие компоненты использовать для этого? Есть ли примеры реализации?

Немного работал с компонентами для работы с сетью IP Works 5.0 , компоненты вроде надежные ... но автоматическую закачку файлов с сайта пока не реализовывал ...

Автор: Virtuals 3.3.2009, 20:25

Firebird, если обьем обновлений невелик, то начинай знакомится с xml, имхо самое оно, и готовых наработок немеряно. как в дельфи так и в перл