| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Java: Общие вопросы > программа для анализа интернет-сайтов |
| Автор: aby2503 18.2.2011, 23:26 |
| Добрый день. Перейду сразу к делу. Есть приложение. Суть: вводишь адрес сайта, запускаешь его анализ. приложение должно пройтись по всем ссылкам на странице, а также зайти на каждую из них. Так же само и со вложенными страницами. Если ссылка на другой сайт, тогда в таблицу вводится ее адрес и вложенность относительно главной страницы. Так вот, меня интересует, как можно сделать, чтобы приложение автоматически все это выполняло. Намекните, заранее спасибо. |
| Автор: Muerto 19.2.2011, 01:25 |
Есть готовые варианты, например наткнулся на прогу которая умеет весь сайт сплагиатить целиком.  Со стилями, с картинками со всем дерет  ВОт она тут Site Capturer http://htmlparser.sourceforge.net/samples.html Если она весь сайт дерет, значит умеет по ссылкам ходить и сканировать дальше ссылки Там есть и Link Extractor возможно то что тебе нужно, парсит ссылки с сайта |
| Автор: _Y_ 19.2.2011, 10:36 |
| Грузишь URL; парсишь его тем или иным способом в зависимости от того, что нужно получить; из результатов парсинга берешь линки (ну или специально парсиш, чтобы их найти); дальше рекурсия - каждый линк обрабатываешь так же - начиная с "Грузишь URL". Глубину рекурсии ограничиваешь. Есть вопросы по отдельным шагам? Задавай. |