Модераторы: LSD, AntonSaburov
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> как узнать адреса всех страниц сайта или домена? 
V
    Опции темы
dementiev
Дата 10.6.2009, 19:05 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 114
Регистрация: 8.2.2008
Где: Минск

Репутация: 1
Всего: 1
Имеется http://www.linkedin.com/pub/
есть ли способ узнать все существующие далее страницы. Например http://www.linkedin.com/pub/dmitry-dementiev/3/4a/b8b

Либо есть домен *.tut.by
Как узнать существующие на этом домене поддомены? Например http://afisha.tut.by

Подойдёт любой способ. Заранее спасибо.
PM MAIL   Вверх
rimidal
Дата 10.6.2009, 21:03 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 51
Регистрация: 25.9.2007

Репутация: нет
Всего: 1

Цитата

Имеется http://www.linkedin.com/pub/
есть ли способ узнать все существующие далее страницы. Например http://www.linkedin.com/pub/dmitry-dementiev/3/4a/b8b


Окрываем главную страничку парсим ее на предмет других ссылок, открываем их и опять парсим ну и так далее...

Цитата

Либо есть домен *.tut.by
Как узнать существующие на этом домене поддомены? Например http://afisha.tut.by

   Перебераем все возможные URL-ы (или по словарю) и проверяем их на предмет существования.
   Или
   Получить доступ к конфигам и посмотреть.

Только причем здесь J2EE?
PM MAIL   Вверх
dementiev
Дата 10.6.2009, 23:38 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 114
Регистрация: 8.2.2008
Где: Минск

Репутация: 1
Всего: 1
За ответ спасибо. 



Цитата(rimidal @  10.6.2009,  21:03 Найти цитируемый пост)
Окрываем главную страничку парсим ее на предмет других ссылок, открываем их и опять парсим ну и так далее...

Я так понимаю, это web-crawling? Т.е. готовые алгоритмы уже должны быть.

Цитата(rimidal @  10.6.2009,  21:03 Найти цитируемый пост)
Перебераем все возможные URL-ы (или по словарю) 

Т.е. надо взять готовый словарь, но в урлах же могут быть не только нормальные слова языка, но любые другие(сокращения и т.д.).

Цитата(rimidal @  10.6.2009,  21:03 Найти цитируемый пост)
Только причем здесь J2EE?

Ну вдруг на java есть готовые решения;) А на самом деле здесь всегда помогут хорошим советом.
PM MAIL   Вверх
rimidal
Дата 11.6.2009, 08:17 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 51
Регистрация: 25.9.2007

Репутация: нет
Всего: 1

Цитата

Я так понимаю, это web-crawling? Т.е. готовые алгоритмы уже должны быть.


Закрытые есть: Teleport, OfflineExplorer.
А вот на счет открытых проектов не слышал.

Цитата

Т.е. надо взять готовый словарь, но в урлах же могут быть не только нормальные слова языка, но любые другие(сокращения и т.д.).


Можно взять и словарь, если такой имеется. Ну а общее решение это конечно полный перебор.
PM MAIL   Вверх
  
 Ответ в темуСоздание новой темы Создание опроса
Правила форума "Java"
LSD   AntonSaburov
powerOn   tux
  • Прежде, чем задать вопрос, прочтите это!
  • Книги по Java собираются здесь.
  • Документация и ресурсы по Java находятся здесь.
  • Используйте теги [code=java][/code] для подсветки кода. Используйтe чекбокс "транслит", если у Вас нет русских шрифтов.
  • Помечайте свой вопрос как решённый, если на него получен ответ. Ссылка "Пометить как решённый" находится над первым постом.
  • Действия модераторов можно обсудить здесь.
  • FAQ раздела лежит здесь.

Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux.
 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Java EE (J2EE) и Spring | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.0436 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.