Версия для печати темы Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > C/C++: Программирование под Unix/Linux > Работа с URL

Автор: MeIsGremlin 16.5.2006, 21:02

Подскажите пожалуйста функции работы с URL. Очень нужно. Где можно найти инфу с примерами?

Автор: bilbobagginz 16.5.2006, 22:45

что значит "работа с URL" ?

Автор: gruy 16.5.2006, 22:58

Конечно, вопрос не совсем ясен, но может подойдет http://curl.haxx.se/libcurl/?

Автор: MeIsGremlin 17.5.2006, 23:02

Ну в общем задача такова. Я получаю адрес например abc.com ну скажем как аргумент в командной строке. Программа должна проверить все ссылки на этом сайте. На наличие мертвых и на их правильность вообще. Я не могу ничего найти такого похожего. Как писать такие вещи. Подскажите где хоть инфу взять какую или что искать. Под винду навалом информации но меня интересует именно под Linux.

Автор: Spalax 17.5.2006, 23:25

Ну на самом деле ето можно и самому написать если немного подумать ... в крайнем случае можно просто сделать так 1.Обрабатываем полученый аргумент получаем полный адрес после чего можно допустим преобразовать в айпи соединиться с каким нить серваком на етом адресе слить страницу проверить ссылочки попытавшись каждую ссылку открыть как файл лежащий гдето далеко и если не открылся то щитать её мёртвой ... ну конечно можно ещё поизвращаться. А веселее всего залез почитай HTTP протокол и найдешь столько интересного можно просто читать ссылки на странице соединяться с серваком етого линка ... и читать заголовки .. еси пишет 404 Not found значит гавняная .....  вообщем способов много а если хорошо подумать то их есчё больше

Автор: gruy 18.5.2006, 09:33

MeIsGremlin, ты ходил по ссылке, что я дал во втором посте? Цитата libcurl is a free and easy-to-use client-side URL transfer library, supporting FTP, FTPS, TFTP, HTTP, HTTPS, TELNET, DICT, FILE and LDAP. libcurl supports SSL certificates, HTTP POST, HTTP PUT, FTP uploading, HTTP form based upload, proxies, cookies, user+password authentication (Basic, Digest, NTLM, Negotiate, Kerberos4), file transfer resume, http proxy tunneling and more!

Автор: MeIsGremlin 18.5.2006, 15:22

Цитата(gruy @ 18.5.2006,  09:33) MeIsGremlin, ты ходил по ссылке, что я дал во втором посте? Цитата libcurl is a free and easy-to-use client-side URL transfer library, supporting FTP, FTPS, TFTP, HTTP, HTTPS, TELNET, DICT, FILE and LDAP. libcurl supports SSL certificates, HTTP POST, HTTP PUT, FTP uploading, HTTP form based upload, proxies, cookies, user+password authentication (Basic, Digest, NTLM, Negotiate, Kerberos4), file transfer resume, http proxy tunneling and more! Да вот читаю. Пытаюсь найти там описание по-подробней. Не такого у меня на сервере. Устанавливать нужно а у меня админских прав нет.

Автор: MeIsGremlin 18.5.2006, 15:38

Цитата(Spalax @ 17.5.2006,  23:25) 1.Обрабатываем полученый аргумент получаем полный адрес после чего можно допустим преобразовать в айпи соединиться с каким нить серваком на етом адресе слить страницу проверить ссылочки попытавшись каждую ссылку открыть как файл лежащий гдето далеко и если не открылся то щитать её мёртвой ... ну конечно можно ещё поизвращаться. А веселее всего залез почитай HTTP протокол и найдешь столько интересного можно просто читать ссылки на странице соединяться с серваком етого линка ... и читать заголовки .. еси пишет 404 Not found значит гавняная .....  вообщем способов много а если хорошо подумать то их есчё больше У меня мало опыта в этом деле. То есть ты предлагаешь скачивать сайт и потом его парсить на месте? Если сайт большой или не один то это займет много места

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)