 |
|
Модераторы: LSD, AntonSaburov |
 
|
|
найти url`ы, которые начинаются со строки.. найти подУрлы урла 
| dementiev |
|
|||
|
Шустрый  Профиль Группа: Участник Сообщений: 114 Регистрация: 8.2.2008 Где: Минск Репутация: нет Всего: 1 |
Привет!
У меня есть адрес, например http://tut.by. Как узнать все subUrls этой страницы? Например, http://tut.by/car/12324 - существует http://tut.by/car/66666 - не существует. Простой перебор? Или есть способы узнать существующие линки? Я уже экспериментировал почти со всеми из http://java-source.net/open-source/crawlers - они не умеют находить такие урлы, а умеют только переходить по href. Заранее спасибо. |
|||
|
||||
Загрузка ...
| LSD |
|
|||
 Leprechaun Software Developer Профиль Группа: Модератор Сообщений: 15718 Регистрация: 24.3.2004 Где: Dublin Репутация: 210 Всего: 538 |
А как по твоему можно узнать что некий URL существует и валиден если на него нет ни одной ссылки?
А есть еще например гугл, у которого количество валидных URL вида:
вообще практически бесконечно. Или например запаркованные домены зачастую всегда возвращают парковочную страницу на любой URL. -------------------- Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it. |
|||
|
||||
| iluvatar |
|
|||
 Опытный Профиль Группа: Участник Сообщений: 266 Регистрация: 17.9.2007 Репутация: нет Всего: 4 |
Списка URL просто не сушествует.
По сути-то это адрес и параметры, а что решит сервер - валидны ли эти параметры или нет - можно узнать только зайдя на соотв. страницу. Кстати, страница будет существовать в любом случае - 404 еще никто не отменял )) |
|||
|
||||
| LSD |
|
|||
|
Leprechaun Software Developer Профиль Группа: Модератор Сообщений: 15718 Регистрация: 24.3.2004 Где: Dublin Репутация: 210 Всего: 538 |
По 404 сервер вовсе не обязан возвращать никакой странички, достаточно просто HTTP кода. Но в любом случае, 404 как раз очень легко обнаруживается и для этой задачи можно предположить, что любой код кроме 200 это ошибка. -------------------- Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it. |
|||
|
||||
| jk1 |
|
|||
 Эксперт Профиль Группа: Участник Сообщений: 1168 Регистрация: 17.10.2008 Где: Санкт-Петербург Репутация: 40 Всего: 75 |
А многие возвращают, притом с кодом 200. Возвращают страницу о том, что на сайте такой страницы нет или редирект на поиск делают. Так что вариант с кодом гарантии не дает. -------------------- Opinions are like assholes — everybody has one |
|||
|
||||
| LSD |
|
||||
|
Leprechaun Software Developer Профиль Группа: Модератор Сообщений: 15718 Регистрация: 24.3.2004 Где: Dublin Репутация: 210 Всего: 538 |
В любом случае это проблемы конкретного сервера и к проблеме построения карты сайта, эта проблема не относится. -------------------- Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it. |
||||
|
|||||
| oxigen |
|
|||
|
Шустрый Профиль Группа: Участник Сообщений: 142 Регистрация: 12.4.2010 Репутация: нет Всего: 4 |
Возможно будет достаточно получить от гугла список всех проиндексированных страниц домена?
Например в яндексе это так : http://yandex.ua/yandsearch?serverurl=http://tut.by |
|||
|
||||
|
|
| Правила форума "Java" | |
|
|
Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux, javastic. |
| 0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) | |
| 0 Пользователей: | |
| « Предыдущая тема | Java: Общие вопросы | Следующая тема » |
[ Время генерации скрипта: 0.0498 ] [ Использовано запросов: 22 ] [ GZIP включён ]
Реклама на сайте Информационное спонсорство
|
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |