Здравствуйте, уважаемые.
Решил оформить еще 1 фак для сообщества винградовцев. Это некий вводный туториал (tutorial), мануал (manual) или учебное пособие по работе с HttpClient. HttpClient позволяет скачать страницы с интернета с возможностью управлять Cookie и отправлять заголовки на сервер.
Преамбула.
Недавно, буквально позавчера, мне пришлось столкнуться с проблемой выкачки страницы с сайта. Благо, я слышал о таком магическом инструменте как http://hc.apache.org/httpclient-3.x/ (Apache как всегда рулит!!!) Его идея была ясна, и не хотелось рыться во всех этих документах, туториалах, примерах. Более того, как и все программисты я хочу всё и сразу и чтоб готовенькое. Начал рыться по винграду. Спасибо LSD по его ответам на форуме я сдвинулся с места. Но не хватало многих мелочей, которые таки заставили меня обратиться к официальным докам, туториалам и примерам. Чтоб уберечь нежные гениальные умы будущих поколений, я решил объединить все эти мелочи в одном месте. И так поехали.
Основная часть.
Выгружаю сразу код, в котором содержится весь материал.
| Код |
package ru.vingrad.platon.httpclient;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.*;
import org.apache.commons.httpclient.cookie.CookiePolicy;
import java.io.*;
import java.net.URLEncoder;
public class HttpClientTest {
private static final String DOMAIN = "localhost";
private static final String SITE_ROOT = "http://" + DOMAIN + "/";
private static final String DEFAULT_CHARSET = "UTF-8";
private static final String SITE_CHARSET = "CP1251";
public static void main(String[] args) throws UnsupportedEncodingException {
HttpClient httpClient = new HttpClient();
httpClient.getParams().setContentCharset(DEFAULT_CHARSET);
httpClient.getParams().setCookiePolicy(CookiePolicy.BROWSER_COMPATIBILITY);
HttpState state = new HttpState();
state.addCookie(new Cookie(DOMAIN, "name", "Platon", "/forum/", new Date(System.currentTimeMillis() + 3600*1000*24*365L), false));
state.addCookie(new Cookie(DOMAIN, "password", "******", "/forum/", new Date(System.currentTimeMillis() + 3600*1000*24*365L), false));
httpClient.setState(state);
// Загрузка страницы с запросом методом GET
GetMethod getMethod = new GetMethod(SITE_ROOT + "index.html?cat=1&search=" + URLEncoder.encode("Доктор Хаус", SITE_CHARSET));
getMethod.getParams().setContentCharset(SITE_CHARSET);
try {
int result = httpClient.executeMethod(getMethod);
if (result == HttpStatus.SC_OK) {
// Выводим страницу на экран
System.out.println(getMethod.getResponseBodyAsString());
} else {
System.out.println("А страничка-то и не загрузилась!!!");
return;
}
} catch (IOException e) {
System.out.println("Проблемы со связью");
return;
} finally {
getMethod.releaseConnection();
}
// Загрузка страницы с запросом методом POST
PostMethod postMethod = new PostMethod(SITE_ROOT + "index.html");
postMethod.addParameter("cat", "1");
postMethod.addParameter("name", "Доктор Хаус");
postMethod.getParams().setContentCharset(SITE_CHARSET);
try {
int result = httpClient.executeMethod(postMethod);
if (result == HttpStatus.SC_OK) {
// Выводим страницу на экран
printStream(postMethod.getResponseBodyAsStream());
} else {
System.out.println("А страничка-то и не загрузилась!!!");
return;
}
} catch (IOException e) {
System.out.println("Проблемы со связью");
return;
} finally {
postMethod.releaseConnection();
}
}
private static void printStream(InputStream res) throws IOException {
InputStreamReader reader = new InputStreamReader(res, SITE_CHARSET);
OutputStreamWriter writer = new OutputStreamWriter(System.out);
int am;
char[] buffer = new char[4096];
while ((am = reader.read(buffer)) != -1)
writer.write(buffer, 0, am);
}
}
|
Засекаем секундомеры!
HttpClient можно расценивать как браузер, который не отображает страницу, а только содержит состояние, в котором работает пользователь. Это и все куки, которые устанавливаются в начале сеанса и которыми обменивается с сервером, это и данные авторизации (http://hc.apache.org/httpclient-3.x/authentication.html)
| Код |
httpClient.getParams().setContentCharset(DEFAULT_CHARSET);
httpClient.getParams().setCookiePolicy(CookiePolicy.BROWSER_COMPATIBILITY);
|
Для меня это были очень важные строчки, с ними я набил много шишек.
Первая строчка устанавливает кодировку, в которой будут отправляться строки запроса методом GET и тело запроса методом POST
Вторая строчка важна для работы с «выпечкой» Самая подходящая политика для работы с «печенюшками» большинства сайтов это именно CookiePolicy.BROWSER_COMPATIBILITY.
Теперь перейдем к самим «печенькам». Браузер всегда находится в каком-то состоянии.
| Код | HttpState state = new HttpState();
/*...*/
httpClient.setState(state);
|
К примеру, пользователь может быть авторизован и при его желании сессия может быть сохранена в cookies. У нас это name и password, гипотетически позволяет работать от имени заранее заведенного аккаунта.
| Код | state.addCookie(new Cookie(DOMAIN, "name", "Platon", "/forum/", new Date(System.currentTimeMillis() + 3600*1000*24*365L), false));
state.addCookie(new Cookie(DOMAIN, "password", "******", "/forum/", new Date(System.currentTimeMillis() + 3600*1000*24*365L), false)); |
С инициализациией браузера разобрались, пробуем загрузить странички.
1. Методом GET
| Код |
GetMethod getMethod = new GetMethod(SITE_ROOT + "index.html?cat=1&search=" + URLEncoder.encode("Доктор Хаус", SITE_CHARSET));
getMethod.getParams().setContentCharset(SITE_CHARSET);
|
Всё интуитивно должно быть понятно. О различиях методов GET и POST читать в другом месте. Заострю лишь внимание на двух моментах:
1. Формируемый адрес обладает интересным URLEncoder.encode("Доктор Хаус", SITE_CHARSET) Не то, что бы интересен тут персонаж телесериала, хотя это тоже ^_^, сколько то, что он написан по-русски, а мы знаем, как буржуи дискредитируют нелатиницу, да еще и с проблелом. Все пробелы в адресных строках заменяются на +, а нелатиница заменяется спецстроками типа %FF в результате эта обертка URLEncoder'а поможет нам избавиться от головной боли с переводом в страшный текст: «%C4%EE%EA%F2%EE%F0+%D5%E0%F3%F1»
Заметим также, что SITE_CHARSET вносит здесь свою лепту. Строчка выше — это кириллический текст в кодировке windows-1251, в кодировке utf-8 это будет выглядеть так:
«%D0%94%D0%BE%D0%BA%D1%82%D0%BE%D1%80+%D0%A5%D0%B0%D1%83%D1%81»
Вторая строчка. Я не уверен, что она тут, вообще, действует, так что ее можно проигнорировать. Идем дальше. Пора бы запустить наш запрос.
| Код |
int result = httpClient.executeMethod(getMethod);
if (result == HttpStatus.SC_OK) {
// Выводим страницу на экран
System.out.println(getMethod.getResponseBodyAsString());
} else {
System.out.println("А страничка-то и не загрузилась!!!");
return;
}
|
1-я строчка. Запускаем метод из определенного состояния: на сервер отсылаются все cookies объекта HttpClient, относящиеся к сайту.
2-я строчка. result содержит статус страницы (Мы помним самые известные 200 — страница загружена, 404 — страница не сужествует, 302 — сервер произвел переадресацию)
4-я строчка. выводим извлеченную страничку. getResponseBodyAsString(), от куда же метод знает в какой кодировке страничка? Можно подумать, что мы установили ее с помощью getMethod.getParams().setContentCharset(SITE_CHARSET); Ничего подобного :( Из ответа от сервера, ему передается заголовок Content-Type откуда извлекается кодировка. Если сервер не передаст нам этого заголовка — дело плохо. Об альтернативных способах получения странички чуть позже.
2. Методом POST
| Код |
PostMethod postMethod = new PostMethod(SITE_ROOT + "index.html");
postMethod.addParameter("cat", "1");
postMethod.addParameter("name", "Доктор Хаус");
postMethod.getParams().setContentCharset(SITE_CHARSET);
try {
int result = httpClient.executeMethod(postMethod);
if (result == HttpStatus.SC_OK) {
// Выводим страницу на экран
printStream(postMethod.getResponseBodyAsStream());
} else {
System.out.println("А страничка-то и не загрузилась!!!");
return;
}
} catch (IOException e) {
System.out.println("Проблемы со связью");
return;
}
|
Знакомый шаблон? Да. Единственное существенное различие — это метод отправки данных POST. Теперь так лихо все параметры в адресную строку не засунуть. Расстраиваться не стоит у Apache всегда есть чем подсластить программисту жизнь. postMethod.addParameter("name", "Доктор Хаус"); хитрый метод addParameter разберется абсолютно со всеми проблемами сам, нет необходимости в перекодировании кириллического текста. НО, теперь нам важна строчка postMethod.getParams().setContentCharset(SITE_CHARSET);, тело запроса будет кодироваться в установленной кодировке. Здорово!
Теперь бонус: Я писал о возможных проблемах метода HttpMethod.getResponseBodyAsString, если сервер не передаст кодировку, в которой написана страница. Альтернативой может послужить самостоятельная обработка сырых байтов переданных данных byte[] HttpMethod.getResponseBody(). Или же для больших документов можно обрабатывать страницу на лету с помощью метода HttpMethod.getResponseBodyAsStream(), если это, конечно, технически возможно. Например, со страницы может передаваться гигантских размеров xml структура, ее можно обрабатывать «на ходу» с помощью http://forum.vingrad.ru/faq/topic-158003.html
Или как в нашем случае, не хранить данные, а сразу выдавать их в stdout.
Еще 1 важный аспект работы с HttpClient
Если в рамках одного экземпляра HttpClient вы работаете последовательно с несколькими объектами HttpMethod
К примеру,
| Код |
GetMethod getMethod = new GetMethod(getLoginPath(login, password));
int result = browser.executeMethod(getMethod);
if (result == HttpStatus.SC_OK) {
getMethod.releaseConnection();
GetMethod fetchProfile = new GetMethod(getProfilePath());
result = browser.executeMethod(getMethod);
//... и так далее
}
|
В этом кусочке кода обратите внимание на 4 строчку, releaseConnection позволяет закрыть соединение.
| Цитата |
This is a crucial step to keep things flowing. We must tell HttpClient that we are done with the connection and that it can now be reused. Without doing this HttpClient will wait indefinitely for a connection to free up so that it can be reused.
|
Это важный шаг в сторону того, чтобы всё шло так, как оно должно быть. Мы должны сказать HttpClient что мы закончили с соединением и оно может быть переиспользовано. Без таких шагов текущий HttpClient будет ждать неопределенное время, пока соединение освободится, для того, чтобы оно могло быть переиспользовано.
А вообще, при работе с HttpClient стоит взять за правило конструкцию
| Код |
HttpMethod m = new GetMethod(SITE_URL);
try {
int res = httpClient.executeMethod(m);
if (res != HttpStatus.SC_OK)
// ... проблемы с ответом от сервера
} finally {
// ОЧЕНЬ ОБЯЗАТЕЛЬНО!!!
m.releaseConnection();
}
|
О таймауте
Работая с библиотекой, сразу не замечаешь критических моментов, таких как например бесконечное ожидание отклика от сервера. Да и такое бывает, но к счастью в HttpClient предусмотрена и такая функция. Смотрим:
| Код |
HttpClient browser = new HttpClient();
browser.getParams().setSoTimeout(TIMEOUT_IN_MILLISECONDS);
GetMethod method = new GetMethod(SITE_URL);
int result = browser.execute(method);
if (result = HttpStatus.SC_TIMEOUT)
System.out.println("Время ожидания ответа с сервера истекло");
|
Новшества тут 2-я строчка, которая устанавливает таймаут ожидания ответа, и 4-я строчка, в которой в переменной result хранится информация, о том, что HttpClient не дождался ответа с сервера
По умолчанию HttpClient может ждать вечность, так что это нужно учесть.
Есть также более тонкая настройка таймаутов для каждого запроса индивидуально, это делается аналогично 2-й строчке, только объект над которым будет совершаться действие - HttpMethod
method.getParams().setSoTimeout(TIMEOUT_IN_MILLISECONDS)
О SSL
Приятно был удивлен, что и с SSL HttpClient благополучно разбирается самостоятельно!!! Т.е. нам не надо искать какие-то сертификаты, что-то шурудить, наворачивать. Согласно http://hc.apache.org/httpclient-3.x/sslguide.html мы можем работать с протоколом SSL также как с обычным незащищенным ^_^ Даже комментировать в коде нечего, один и тот же шаблон.
| Код |
mport org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.methods.GetMethod;
import java.io.IOException;
public class TestSSL {
public static void main(String[] args) {
HttpClient httpclient = new HttpClient();
GetMethod httpget = new GetMethod("https://www.verisign.com/");
try {
httpclient.executeMethod(httpget);
System.out.println(httpget.getStatusLine());
} catch (IOException e) {
e.printStackTrace();
} finally {
httpget.releaseConnection();
}
}
}
|
Послесловие
Если бы кто-то до меня написал бы эту тему, я был бы очень рад. Но видимо прошло время потребления, пришло время производства! Принимайте, рецензируйте, пользуйтесь.
Да, спонсор статьи мой блог о Java http://platon007.blogspot.com |
