Есть краулер, который тянет html-странички, но не все нужные странички удается стянуть, хотя в браузере они открываются. При дебаге сорцов выяснилось, что при таких случаях при коннекте возникает ошибка 403. Судя по нагугленному это происходит из-за того, что краулер пытается коннектиться по https. Используется apache HTTPClient. Т.е. вот такой код даст 403 ошибку



Попыталась разобраться как сделать это через https. Нагуглила следующий пример:



Не совсем понятно как его использовать, какие значения передавать в параметрах setProxy() и setProxyCredentials(), если я знаю только url сайта. Или может быть проблема вообще не в этом, и это делать надо по другому как-то, у меня в этой области мало опыта. У кого какие есть советы?

Заранее спасибо 

Это пример авторизации на прокси сервере, а не на сайте.

Браузер при заходе на сайт логин и пароль  запрашивает? Заходить на сайт можно с любого компьютера и любым браузером или только с компьютеров домена?

Сайт не спрашивает ничего, заходить можно откуда угодно и чем угодно (работает на firefox, opera, ie)

Это сообщение отредактировал(а) yuliada - 27.2.2009, 16:41

Хотя нет, сори за дезинформацию, сейчас потерла в браузере пароли и кукисы, оказалось что спрашивает пароль и логин. Просто на всех машинках, на которых я работаю туда заходили уже много раз. Еще там есть сообщение про кукисы Note: You must set your browser to accept cookies in order for login to succeed. В краулере никаких кукисов нет... Не очень владею этой темой, пытаюсь разобраться...

Это сообщение отредактировал(а) yuliada - 27.2.2009, 18:18

Как идёт запрос логина и пароля, появляется всплывающее окошко или надо в форму ввести логин и пароль?

Форма для ввода пароля и логина. Пример такой ссылки вот, там регистрация free, логин yuliada, пароль abahaba

Это сообщение отредактировал(а) yuliada - 27.2.2009, 21:27

Видимо https это из другой оперы. Вот это вроде бы работает, но это как-то не выглядит как общее решение, т.е. такая форма это везде так или только здесь в частности... Почему в браузере после введения пароля не возникает страницы с логином снова? Как-то используются coockies? Можно то же самое програмно на яве реализовать?



Это сообщение отредактировал(а) yuliada - 27.2.2009, 21:58

Пользователь заходит на страничку с вводом логина и пароля, пользователь вводит логин и пароль, отправляет их на сервер. После чего сервер отправляет браузеру пользователя куку (в данном случае Ticket). При последующих обращениях браузер передает эту куку серверу, а тот идентифицирует по ней пользователя.

HttpClient поддерживает работу с куками, их можно сохранять в файл, загружать при запуске и т.д. Вопрос только в том, сколько кука будет действительна (это определяется сервером) и как изначально это куку получать. Можно делать это так как ты показала, или можно брать эти куки из браузера.

ок, спасибо большое, разобралась