Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Java: Работа с сетью > Помогите URLConnection скачать страницу целиком ?

Автор: pptck 1.7.2011, 14:48

При получении сераницы

Код


            URLConnection con=new URL (urlsrc).openConnection();
            con.setRequestProperty("Authorization","basic "+ encodedUserPass);
            con.setUseCaches(false);
            con.setDoInput(true);
            con.setDoOutput(true);
            con.connect();
            ist=new Source(con.getInputStream());

в теле получаю
identified you are using an old browser . We recommend you upgrade to the most recent version
и не все данные присутствуют

Можно ли, получить страницу целиком как в браузере, "Сохранить страницу полностью"?

Либо можно ли на сокетах при одной авторизации получать разные страницы? При URLConnection каждое обрашение фиксируется как авторизация.

Автор: LSD 1.7.2011, 15:42

1. Не стесняемся использовать кнопу Код.

2. Чтобы не получать identified you are using an old browser . We recommend you upgrade to the most recent version, надо исправить User-Agent на ID какого нибудь современного браузера.

Код


con.setRequestProperty("User-Agent", "*****");

User-Agent для современных браузеров можно найти в гугле smile

Автор: pptck 4.7.2011, 15:51

LSD,

Спасибо, но установка User-Agent на полноту данных не влияет

при скачивании URlConnection в теле есть <td align="center" nowrap="1" id="LAASMUL3Mtimeonly2"></td>

при скачивании браузером <td align="center" nowrap="1" id="LAASMUL3Mtimeonly2">13:15</td>

Автор: LSD 4.7.2011, 17:21

1. После установки User-Agent сообщение identified you are using an old browser . We recommend you upgrade to the most recent version исчезло?

2. Cравни HTTP заголовки которые шлет браузер и твоя программа. Посмотреть, что шлет браузер и что шлет твоя программа можно с помощью http://www.charlesproxy.com/.

Автор: pptck 5.7.2011, 16:28

1. Нет сообщение не исчезло

2.В страници данные подгружаются дополнительно.
Идет Get***/Date.asp?UI=логин&****
"Refer" ,"страница которую качаю первоначально"

Переделал съем данных с других мест, более громозтко, но работает.

Спасибо