 |
|
Модераторы: LSD, AntonSaburov |
 
|
|
программа для анализа интернет-сайтов, небольшой стопор 
| aby2503 |
|
|||
|
Новичок Профиль Группа: Участник Сообщений: 2 Регистрация: 18.2.2011 Репутация: нет Всего: нет |
Добрый день. Перейду сразу к делу. Есть приложение. Суть: вводишь адрес сайта, запускаешь его анализ. приложение должно пройтись по всем ссылкам на странице, а также зайти на каждую из них. Так же само и со вложенными страницами. Если ссылка на другой сайт, тогда в таблицу вводится ее адрес и вложенность относительно главной страницы. Так вот, меня интересует, как можно сделать, чтобы приложение автоматически все это выполняло. Намекните, заранее спасибо.
|
|||
|
||||
Загрузка ...
| Muerto |
|
|||
 Эксперт  Профиль Группа: Завсегдатай Сообщений: 1207 Регистрация: 23.9.2006 Репутация: нет Всего: 4 |
Есть готовые варианты, например наткнулся на прогу которая умеет весь сайт сплагиатить целиком.
 Со стилями, с картинками со всем дерет  ВОт она тут Site Capturer http://htmlparser.sourceforge.net/samples.html Если она весь сайт дерет, значит умеет по ссылкам ходить и сканировать дальше ссылки Там есть и Link Extractor возможно то что тебе нужно, парсит ссылки с сайта Это сообщение отредактировал(а) Muerto - 19.2.2011, 01:26 --------------------  |
|||
|
||||
| _Y_ |
|
|||
 Эксперт Профиль Группа: Завсегдатай Сообщений: 1651 Регистрация: 27.11.2006 Репутация: 5 Всего: 34 |
Грузишь URL; парсишь его тем или иным способом в зависимости от того, что нужно получить; из результатов парсинга берешь линки (ну или специально парсиш, чтобы их найти); дальше рекурсия - каждый линк обрабатываешь так же - начиная с "Грузишь URL". Глубину рекурсии ограничиваешь.
Есть вопросы по отдельным шагам? Задавай. -------------------- Я вот в этом поучаствовал: http://sbor-nik.appspot.com/kick.jsp?id=sbor5737960678883328 (на правах саморекламы:) |
|||
|
||||
|
|
| Правила форума "Java" | |
|
|
Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux, javastic. |
| 0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) | |
| 0 Пользователей: | |
| « Предыдущая тема | Java: Общие вопросы | Следующая тема » |
[ Время генерации скрипта: 0.0424 ] [ Использовано запросов: 22 ] [ GZIP включён ]
Реклама на сайте Информационное спонсорство
|
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |