суть: есть сайт "торговая база", в БД которого находятся данные о продавце и какие предметы он продает, таких сайтов много. Есть сайт, который собирает всю эту информацию (на этом сайте регистрируются "торговые базы")

и теперь возникает вопрос: Как удобнее для пользователя и безопаснее для 2-ух сайтов (собиратель инф-ии и "торговая база") организовать передачу данныъ между друг другом

Проблемы:
- прерывание скрипта пользователем/временем выполнения
- недоступность сервера (на этот случай создам кэш)

на ум приходят несколько идей:
- SQL ни в коем случае не использовать (слишком много гемора по проверке), использовать файлы в формате CSV
- создавать один большой файл и передавать его
- создать один большой файл, а сайт-собиратель сам его скачает, когда понадобится
- разбить на много файлов (торговцы, список предметов) и послать метку, об обновлении. Скачиваться файлы будут когда нужны (например пользователь рассматривает базу торговцев именно этого сайта)

Не хочу изобретать велосипед, есть ли уже  проверенные временем способы удобной передачи данных через POST или библиотекой cURL, fopen()? какой метод разбиения данных применить? (поиск юзал, но, может, не правильный запрос использовал при этом)

Забирать файлы file а  отсылать удобнее всетаки cURl
О передаче данных в CSV это удобно  передовать массивы одной базы данных в файлах к другой либо XML  но CSV будет компактнее ,  серелизизация  и унсерелизация =) .
На серверном сайте хранить Бд и сами файлы в паки по шаблону сайт_дата_создания фйла. В БД ДАТА ЗАКАЧКИ НА САЙТ имя файла.
Сканить всю папку будет долго нежели вывод из Бд с постраничнок  + Поиск, фильтрация 

Я подумал это стреть но может прегодится? 
Вот некоторые предложения это я как бы сделал (в процесе бы чтото поменялбы это у всех так ):
1 сайт будет играть в роли сервера котрый через крон будет забирать или опрашивать сайт о наличее новых каких не будь даных.
2 сайт это клиент их n-ое количество.
Наэтих сайтах можно сделать 2х старонию передачу данных 

1 сервер всегда будет забирать файлы ибо скачивания с сайта на всех хостингах разрешено;
2 Сервер будет отсылать логин и пароль и параметр на наличее новых данных
3 Клиент если данные готовы и авторизация прошла отдает даные или тип сообщения что данных мало и просит подождать.
4 На клиентиской базе если данных много клиент говорит серверу через CUrl если может что есть данные забери их у меня,дохрена скопилось
5 Сервер ставит сайт в очередь, клиент готовит новую БД а подготовленый файл ложит в определной папки чтобы сервер забрал его.
6 Сервер через крон обрабатывает список заданий задания хранятся в БД. Если нету задания то сервер мирно и тихо крутит себе крон.
Не важно сколько записей в кроне и обьем задания он их выполнил распределите тока порции. ПС В кроне должно работать set_time_limit
Все ошибки сервера лудше чтобы отсылало на почту програмиисту, это хоть и большой спам но зато можно детально отследить проблемы крона серверной части.

Это сообщение отредактировал(а) Sanchezzz - 30.3.2010, 08:40

спасибо, приму к сведению