Собственно сабж.
Есть один сервер.
Есть второй сервер.
С первого по http или ftp надо скачать и сохранить файлы на втором.
Помогите.

Я делаю это при помощи SSH.
Захожу на второй сервер и говорю GET http://server1/1.tar.gz

А на php можно просто

Код

$fp = fopen ("http://www.php.net/", "r");

Тьфу!
Что это на меня нашло???
Конечно же, этот примитив я уже давно сделал.
Secandr спасибо за ответ.

На очереди вопрос по теме но уже на уровне.

Итак, у меня есть маленькое хобби - люблю коллекционировать сайты у себя на харде
Ну, ясен пень, такое увлечение влетает в копеечку.
Вот, скачал всера сайт (нескажу какой ) - 8200 файлов вышло весом в 230Мб...
Заархивировал - вышло 12Мб

Я вот подумал можно ведь скачивать сайты ПХП скриптом на сервер, там их архивировать, а оттуда уже себе на комп.

Никто не знает о таких скриптах???

Чувствую, придется мучать самому.
В принципе все просто, за исключением 2-х проблем:

1. Никак немогу замутить архивацию на сервере - но тут 100% при необходимости разбирусь.
2. А это уже посложнее - как организовать саму скачку??? Ну, закачали стартовую, выдрали с нее ссылки на другие, а далее??? Больше всего подходит рекурсия, но у меня время работы скрипта на сервере ограничено 30 секундами . У кого какие мысли?

Делаем следующее:
1. скрипт скачивает страничку в массив
2. парсит массив и сохраняет все сслыки и адреса картинок в links.txt
3. сохраняет скаченый файл на диск
---------
теперь тебе предётся запустить скрипт 8200 раз

Хотя можно отдельно качать html и отдельно картинки и хранить ссылки к ним в отдельный файл.
поэксперементировать с количеством файлов сохраняемых за раз.

Secandr
И это че, я смогу запустить скрипт на своем хосте, и перекачать при его помощи себе на сервер ( а точнее на сервер хостера ) какой нить большой и вкусный файл?!

Народ,я праваильно понимаю?

Пройтись циклом по содержимому сайта, собрать все имена, затарить их (типа system(tar -zvf $файл_такой-то архив.tar.gz)) и можно скачивать себе. Это в РНР. Через шелл все решается проще, там можно просто папку затарить...
Borland_Delphi_6, а если есть доступ (даже если без шелла) к какому-нить серверу, напиши коротенький скрипт типа system(wget $filename) и сможешь качать по http хоть горы файлов (строкой такого типа:

Код

http://host/directory777/script.php?filename=http://host2/vkusniy.fail)

, только не забудь на директорию со скриптом поставить права 777, иначе в доступе откажут.

Это сообщение отредактировал(а) Axxent - 18.4.2004, 11:22

Secandr твои посты обычно полезные. А данный бессмысленный. Зачем повтопять мой вопрос???

Borland_Delphi_6 файл то непроблема, я говорю закачать сайт (ну стышал может, проги типа Телепорта или ОффлайнЭксплорер...) тока на ПХП с тем чтобы на сервере его заархивировать, а после небольшой (сравнительно со всем самйтом) архив этого сайта скачать себе на комп.

Axxent говоришь умные вещи... жаль я в этом нешарю

PROme
1. можно извратиться поставить while и если дремени больше 1 сек выполнять.
тогда можно с 8000 обновлений скрипта дойти до 100.

2. Можно посадить скрипт на cron, но для этого нужно договорится с хостером

3. Можно попробовать запустить ещё один скрипт в отдельном процессе, может его и не прибьют

Рульно!!! А зачем тогда многие скачивают с одного сайта, а потом по фтп себе на сайт заливают?
Народ, а может кто-то рабочий код для скачивания файлов дать?

А может проще будет программу скачать которая сайты целиком закачивает?

Цитата

а может кто-то рабочий код для скачивания файлов дать?

С сервера на сервер? Или как?

Да, с сервера на сервер.
IZ@TOP
Ты просто сути не понял: проги такие в несжатом виде качают, а он хочет сначала качнуть к себе на хост, гзип-нуть и скачать

Borland_Delphi_6, это я понял. Но вот мне кажется что экономия каких то 250мб несравнимо неоправдана с теми расходами времени и поисками подходящего скрипта и хостинга. Или это все ради экономии траффика?

ИМХО, из-за траффика... А как насчет кода, народ, плиз!!!

Ну ладно, уговорил
В общем вот код с пояснениями (на случай если что-то будешь менять)
В это же коде формочка которая вылазит вначале, потом просто выводит результат. Скопируй и назови файл download.php. Не забудь, что для доступа по FTP надо указать: имя_пользователя:пароль@ftp.сервер. А еще на папку где лежит скрипт надо поставить 777, но это я уже говорил.

Код

<?php $filename=$_POST[fn]; $form=$_POST[fm]; if($form=="") { echo "<form action=download.php method=post>" ."<input type=hidden name=fm value=\"value\">" ."Имя файла: <input type=text name=fn><br>" ."<input type=submit value=\"Качать!\"></form>"; } elseif($filename=="") { echo "Не указан файл!<br><a href=\"javascript:history.back()\">Назад</a>"; } else { system("wget $filename"); system("dir"); echo "<br>Если файл закачан, то он должен быть в списке вверху."; } ?>

Вроде так. Вообще-то я не тестил, так на лету... Потом еще подправил, не забывай перед именем ставить ftp:// или http://

Это сообщение отредактировал(а) Axxent - 20.4.2004, 13:57

Спасибо огромное!!! Пойду тестировать!

А под виндой этот скрипт должен работать? А то че-то глюк выдает...

Borland_Delphi_6 нет, wget - утилита линекса.

Вот сижу я значит сейчас под Линухом. Открыл значит http://localhost/download.php. Даю ему значит адрес: http://localhost/poweredby.png. Он вроде никаких ошибок не выдает, говорит, что если файл скачался, он должен быть в списке сверху. А в списке свеху только файл download.php. Чего бы это значило7 И еще: будет ли скрпт работать на халявном хостинге, где из пхп нельзя выполнять программы7

Данная возможность по моему заблочена почти на всех разумных хостингах. представь что будет если ты сделаешь что то вроде system('copy /etc/paswd') ?

Цитата

представь что будет если ты сделаешь что то вроде system('copy /etc/paswd') ?

Обычно на этот файл ставят такие права, что прочесть их не-руту нет возможности.

Если нет утилиты wget можно попользовать утилиту fetch (такая должна быть в любом случае), но там несколько другие параметры... Короче RTFM.

Если не работает этот вариант, попробуй вообще в консоли which wget, может у тя вообще такой утилы не установлено Хотя лично я вообще не догоняю, как ты так качаешь файл, который, как и download.php, лежит в корне, и в итоге получаешь, что в корне у тебя только download.php. Странно! Куда файл-то девался? Не забыл поставить 777 на htdocs (или html, смотря какая версия апача)?

Да есть утилита, я пробовал из консоли. Если быть более точным, файл download.php лежал в папке get, в корне был файл poweredby.png. Я так понимаю файл poweredby.png должен был сохранится в папке с download.php?
Добавлено @ 10:15
Добавлено @ 10:14
Щас попробовал с хостера. Нифига. Короче с wget облом. Ты говорил про fopen...?

Блин, ты меня заинтриговал. Пойду тестить свое творение.
Добавлено @ 12:37
Потестил. Странно, но все нормально. Все качает. По крайней мере на домашнем серваке (RH 9.0, Apache 2.0.48). Возможно, пров не предоставляет wget простым юзерам. Пользуй fetch. Пойду сам почитаю гребаные мануалы, самому интересно стало.

Че-то я сплоховал... fetch пригодна для выкачки текстовых данных, но не для бинарных данных... Однако.

В общем, выхода я не вижу. Поэкспериментируй с wget или же проверь своего прова на позволение тебе пользоваться gcc (это еще более невероятно чем запрет на wget) и попробовать скомпилить в какой-нить дире от имени nobody... Мечты, мечты...

Модеру: че-то я тут постов наплодил... Скиньте в одно если не трудно

Это сообщение отредактировал(а) Axxent - 21.4.2004, 13:01

Я пробовал сначала на RH 7.3, Apache 1.3. Результат уже описан выше ( вместо файла poweredby.png вверху показывает download.php ) Потом пробовал на хостере ( wallst.ru, Free BSD ) ничего ровным счетом, там просто нельзя программы запускать. Так с fopen - никак? Кстати, скачиваемый файл должен появится в папке с download.php?
ЗЫ Когда тестил на локалке, в консоли набирал wget, комманда есть, ей все качает, а скриптом - никак

Народ, так с fopen никак нельзя? Я вроде в доках видел, но не знаю, как полностью сделать скрипт... Ведь многим помогло бы, я вообще не понимаю тогда, зачем нужно перекачивать с одного сайта на другой самому, если можно поручить это серверу? Плиз!!

fopen это я так понимаю не из linux функция, а из РНР... Проблема-то в чем. Эта функция может файл открыть, но чтобы его сохранить, нужны привилегии на запись в директорию, которых нет у юзера nobody, от имени которого запускаются РНР-скрипты... Так-то бы и ладно...

Как так? Либо я чего-то не понимаю, либо... Ведь многие php скрипты записывают файлы в директории? Поставить на нее 777?

Axxent непахает... но это неважно.
Скачка файла непроблема.

Есть тут кто крутой?
Давайте замутим скачку и архивирование сайта!!!

Цитата

Давайте замутим скачку и архивирование сайта!!!

Если узнать алгоритм архивирования rar ом, то можно тоже написать на php.

Алгоритмы рара? Так вроде бы есть исходник unrar.dll, или меня глючит? Да и по-моему раром не заархивируешь. Можно gzip юзать.
Axxent
Я нашел клевую прогу, правда на Perl. Downloader называется.
Вот только на том хосте, на котором должна работать прога, Perl не поддерживается Нельзя ли все таки доделать прогу ?

Это сообщение отредактировал(а) Borland_Delphi_6 - 23.4.2004, 14:28

Народ, может хоть видел его где-то? Пожалуйста, срочно надо, там ведь кода не много будет...

А как вам такой вариант?

Код

<?         // открыли соединение   $so = fsockopen("php.spb.ru", 80, &$errno, &$errstr, 30);   // послали GET форму (простой URL + указание вирт. хоста)   fputs($so,"GET /files/notepad.exe HTTP/1.0\nHOST: php.spb.ru\n\n");   // читаем все, пока не наступит "конец заголовка" (т.е. начало документа)   // если наступит, то со след. байта начнется документ   while(fgets($so,2048)!="\r\n" && !feof($so));     unset($buf);   // читаем документ в переменную   while(!feof($so)) $buf.=fread($so,2048);   // Готово. В переменной $buf храниться скаченный документ (т.е. файл)   // Максимум можно читать порциями по 64K-1байт   // закрываем сокет   fclose($so);   echo "Download fine, size ".strlen($buf)." bytes."; flush();   // используем скаченный файл (в переменной) по назначению...   $f=fopen("download.tmp","wb+");   fwrite($f,$buf,strlen($buf));   fclose($f);   ?>

Borland_Delphi_6 неплохо.
Мля большей юзабилити посоветовал бы сохранять под именем, скачаным с сервера + если надо скачивать файл на комп замутить хеадер на свежий файл - оч удобно ;)

Еще вопросик возник...
а как в PHP узнать размер файла, лежащего на удаленном сервере до его закачки???
stat, lstat не катит

PROme , можно попробовать по ответу сервера, размер находится в Content-length.

IZ@TOP спасибки, попробуем.

Такс, попробывал переделать скрипт Borland_Delphi_6 для скачки по FTP - ничего невышло
Мож подскажите?

И еще одна проблема - скачка больших файлов...
скрипт более 2-3 Мб нетянит
Может как-то с докачкой или как???

Пардон, не откликался
Да, через хедеры тоже можно замутить, только опять же надо права на директорию 777. Чтобы через rar замутить, надо иметь rar на машине хостера, что нереально.

Borland_Delphi_6, чего ты там нашел? На перле прогу? Она вообще работает? Можно попробовать написать аналог на РНР, кинь сюда код перловки.

Еще: твой код довольно оригинален, но не прочтет ли он закачку в текстовую строку? Если данные будут загружаться в текстовой форме, получится нехорошо. Почему? А вот попробуй открыть екзешник Блокнотом и сохранить на диск, сразу увидишь.

Это сообщение отредактировал(а) Axxent - 29.4.2004, 16:31

Сейчас к сожалению кинуть не могу, сижу на другом компе, брал с woweb.ru, называется прога Downloader. Клевая вещь, все легко качает и интерфейс понятный.
PROme
Да, я тоже замечал, что большие не берет... Обидна, блин
Ps Код не мой, брал с php.spb.ru

A ya tyt slishal o takoi progge,kak Putty. Nikto ne znaet kak s nei rabotat? Mne nado s HTTP v FTP server zakinyt! Pomogite plz!