VPF::appache HttpClient - Форум программистов

DuftPunk

Дата 23.8.2012, 16:31 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 3
Регистрация: 23.8.2012

Репутация: нет
Всего: нет

Нужен пример , описание , как при помощи appache HttpClient перебирать странички на сайте.переходить по страничкам и заходить внутрь описаний , статей и тд.

Stolzen

Дата 23.8.2012, 17:24 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1041
Регистрация: 17.10.2005

Репутация: 23
Всего: 48

Вот описание http://hc.apache.org/httpcomponents-client...html/index.html
А вот примеры http://hc.apache.org/httpcomponents-client-ga/examples.html

--------------------

datatalks.ru - анализ данных, статистика, машинное обучение

DuftPunk

Дата 24.8.2012, 09:50 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 3
Регистрация: 23.8.2012

Репутация: нет
Всего: нет

Получаю страничку клиентом,парсю из нее ссылки на другие страницы,заношу ссылки в arraylist. Подскажите цикл (рефакторинг) код цикла для перехода по ссылкам из arraylist.

Код


public class Parser {
    private static final String Url = "http://111";
    public static void main(String[] args) throws IOException, XPatherException {
 
        HttpClient httpClient = new DefaultHttpClient(); //Создаем объект класса
        HttpGet httpGet = new HttpGet(Url);// загружаем
        HttpResponse response = httpClient.execute(httpGet); // получаем страницу
        System.out.println(response.getStatusLine());//выводим сообшение о получение страницы
        HttpEntity entity = response.getEntity(); // входящие данные
        if (entity != null) {
            InputStream instream = entity.getContent();
            try {
                HtmlCleaner cleaner = new HtmlCleaner();
                TagNode html = cleaner.clean(instream);
                Object[] tags = html.evaluateXPath("//div[@class='ns_object_title']/a");
                ArrayList al = new ArrayList();
                for (Object tag : tags) {
                    TagNode aTag = (TagNode) tag;
                    String Href = aTag.getAttributeByName("href").trim();
                    al.add(Href.trim());
                    System.out.println(al.toString()+"\n\r");
                }
 
            } catch (RuntimeException ex) {
                httpGet.abort();
                throw ex;
            } finally {
                instream.close();
            }
        }
    }
    }

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Java: Общие вопросы \| Следующая тема »