Модераторы: LSD, AntonSaburov
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Как открыть страницу сайта и считать данные? 
:(
    Опции темы
Temdegon
Дата 11.1.2009, 21:12 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 429
Регистрация: 11.10.2008
Где: Minsk

Репутация: 7
Всего: 9
Есть страница линк
Нужно из дестктопного java-приложения зайти на эту страницу, ввести в форму нужные значения,
дождаться результата и вернуть в приложение данные.
user posted image
Совсем не имею понятия, как такое делать, подскажите, плиз.
Кроме этого, сайт разрешает пользоваться поиском только 5 раз в сутки с одного айпи, по этому нужно что бы программа открывала страницу через прокси.
PM MAIL   Вверх
garbuz
Дата 11.1.2009, 22:31 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 677
Регистрация: 22.1.2008

Репутация: 3
Всего: 11
Может HttpClient покатит smile
http://forum.vingrad.ru/faq/topic-216595.html
PM MAIL   Вверх
Temdegon
Дата 11.1.2009, 22:38 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 429
Регистрация: 11.10.2008
Где: Minsk

Репутация: 7
Всего: 9
О, спасибо. Скорее всего это то что надо!
PM MAIL   Вверх
_Y_
Дата 11.1.2009, 22:43 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1651
Регистрация: 27.11.2006

Репутация: 5
Всего: 34
Я кода-то делал такую программу - читал данные из ДБ не позволяющие прямой SQL доступ.

Можно читать URL в объект какого-нибудь класса HTML, но я читал в StringBuffer и парсил сам. Так оказалось проще, т.к. можно сразу идентифицировать  и отбрасывать ненужную часть HTML-кода. Понятное дело, что если хозяева код переделают, придется переделывать и часть парсящего кода. Поэтому парсинг лучше разбить на отдельные методы по принципу "что может быть переделано, а что наверняка останется".


--------------------
Я вот в этом поучаствовал: http://sbor-nik.appspot.com/kick.jsp?id=sbor5737960678883328 (на правах саморекламы:)
PM MAIL WWW   Вверх
Temdegon
Дата 12.1.2009, 00:13 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 429
Регистрация: 11.10.2008
Где: Minsk

Репутация: 7
Всего: 9
Что-то я не разобрался как в HttpClient использовать прокси. Кто знает- подскажите плиз.
PM MAIL   Вверх
ivg
Дата 13.1.2009, 12:00 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Autonomous R&D
**


Профиль
Группа: Участник
Сообщений: 686
Регистрация: 8.2.2006
Где: Екатеринбург

Репутация: 33
Всего: 81
Цитата(Temdegon @  12.1.2009,  02:13 Найти цитируемый пост)
Что-то я не разобрался как в HttpClient использовать прокси. Кто знает- подскажите плиз.

org.apache.commons.httpclient.HostConfiguration#setProxy(String, int)
org.apache.commons.httpclient.HttpState#setProxyCredentials(org.apache.commons.httpclient.auth.AuthScope, org.apache.commons.httpclient.Credentials)

Это сообщение отредактировал(а) ivg - 13.1.2009, 12:01
PM MAIL   Вверх
Temdegon
Дата 13.1.2009, 18:28 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 429
Регистрация: 11.10.2008
Где: Minsk

Репутация: 7
Всего: 9
Пишу код (по факу)

Код


import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.*;
import org.apache.commons.httpclient.cookie.CookiePolicy;
import java.io.*;
public class HttpClientTest {
    private static final String DOMAIN = "sharkscope.com";
    private static final String SITE_ROOT = "http://" + DOMAIN + "/";
    private static final String DEFAULT_CHARSET = "UTF-8";
    private static final String SITE_CHARSET = "CP1251";
    public static void main(String[] args) throws UnsupportedEncodingException {
        HttpClient httpClient = new HttpClient();
        httpClient.getParams().setContentCharset(DEFAULT_CHARSET);
        httpClient.getParams().setCookiePolicy(CookiePolicy.BROWSER_COMPATIBILITY);
        HttpState state = new HttpState();
        state.addCookie(new Cookie(DOMAIN, "ShowDataSourcing", "F"));
        state.addCookie(new Cookie(DOMAIN, "DefaultNetwork", "fulltilt"));
        state.addCookie(new Cookie(DOMAIN, "search4", "313.1514927531988"));
        state.addCookie(new Cookie(DOMAIN, "ShowDataSourcing", "F"));
        state.addCookie(new Cookie(DOMAIN, "FormStyle", "HOTTILT"));
        state.addCookie(new Cookie(DOMAIN, "DefaultProfitPrecision", "0"));
        state.addCookie(new Cookie(DOMAIN, "DefaultCurrency", "USD"));
        state.addCookie(new Cookie(DOMAIN, "FormStyle", "HOTTILT"));
        state.addCookie(new Cookie(DOMAIN, "DefaultTimeZone", "-2"));
        state.addCookie(new Cookie(DOMAIN, "Fish2", "100,0,-20,0"));
        state.addCookie(new Cookie(DOMAIN, "SharkLo", "100,5,15,0"));
        state.addCookie(new Cookie(DOMAIN, "SharkMed", "100,10,10,0"));
        state.addCookie(new Cookie(DOMAIN, "SSPlayerRatingOptions", "yes,yes,yes"));
        state.addCookie(new Cookie(DOMAIN, "affid", "0"));
        httpClient.setState(state);
        GetMethod getMethod = new GetMethod(SITE_ROOT + "InitializeSession?Username=sswebsite&Password=&WebClientVersion=239&SelectedCountry=&UserLangCode=en&UserCountryCode=US&ClientTimeZoneValue=-2&searchTag=313.1514927531988&nocache=1231855906823&version=239");
        System.out.println(SITE_ROOT + "SharkScope/InitializeSession?Username=sswebsite&Password=&WebClientVersion=239&SelectedCountry=&UserLangCode=en&UserCountryCode=US&ClientTimeZoneValue=-2&searchTag=313.1514927531988&nocache=1231855906823&version=239");
        getMethod.getParams().setContentCharset(SITE_CHARSET);
        try {
            int result = httpClient.executeMethod(getMethod);
            if (result == HttpStatus.SC_OK) {
                // Выводим страницу на экран
                System.out.println(getMethod.getResponseBodyAsString());
            } else {
                System.out.println("А страничка-то и не загрузилась!!!");
                return;
            }
        } catch (IOException e) {
            System.out.println("Проблемы со связью");
            return;
        } finally {
            getMethod.releaseConnection();
        }
     }
}



В результате работы получаю:
Код

13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:37 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
13.01.2009 17:09:41 org.apache.commons.httpclient.cookie.CookieSpecBase match
WARNING: Invalid cookie state: path not specified
А страничка-то и не загрузилась!!!

Если стрку, которая передается в конструктор GetMetod() засунуть в браузер, то все ок, резалт выводится на экран 
http://sharkscope.com/SharkScope/Initializ...amp;version=239

Помогите плиз, не понимаю в чем проблема
PM MAIL   Вверх
ivg
Дата 13.1.2009, 18:59 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Autonomous R&D
**


Профиль
Группа: Участник
Сообщений: 686
Регистрация: 8.2.2006
Где: Екатеринбург

Репутация: 33
Всего: 81
Может быть надо 
Цитата
30:        GetMethod getMethod = new GetMethod(SITE_ROOT + "SharkScope/InitializeSession?....");
 smile 
PM MAIL   Вверх
Platon
Дата 13.1.2009, 19:05 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1801
Регистрация: 25.4.2006

Репутация: 16
Всего: 40
Прошу прощения, похоже в FAQ закралась ошибка. Конструктор Cookie(String, String, String) создает полуфабрикат!
Используйте конструктор Cookie(String domain, String name, String value, String path, Date expires, boolean secure)
expires и secure можно сделать null и false


--------------------
user posted image
Блог на винграде
Мой Блог о Java
For Java developers... only
PM MAIL ICQ   Вверх
Temdegon
Дата 13.1.2009, 19:07 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 429
Регистрация: 11.10.2008
Где: Minsk

Репутация: 7
Всего: 9
Пардон, с линком я действительно сильно облажался =)
Спасибо, ivg
Теперь запрос проходит,
но все равно остались варнинги про куки. Из-за чего это может быть?
===
Спасибо, Platon, вопрос про куки снимается до выяснения обстоятельств

Это сообщение отредактировал(а) Temdegon - 13.1.2009, 19:09
PM MAIL   Вверх
Temdegon
Дата 13.1.2009, 19:56 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 429
Регистрация: 11.10.2008
Где: Minsk

Репутация: 7
Всего: 9
Всем спасибо! Все получилось в лучшем виде!
PM MAIL   Вверх
  
 Ответ в темуСоздание новой темы Создание опроса
Правила форума "Java"
LSD   AntonSaburov
powerOn   tux
javastic
  • Прежде, чем задать вопрос, прочтите это!
  • Книги по Java собираются здесь.
  • Документация и ресурсы по Java находятся здесь.
  • Используйте теги [code=java][/code] для подсветки кода. Используйтe чекбокс "транслит", если у Вас нет русских шрифтов.
  • Помечайте свой вопрос как решённый, если на него получен ответ. Ссылка "Пометить как решённый" находится над первым постом.
  • Действия модераторов можно обсудить здесь.
  • FAQ раздела лежит здесь.

Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux, javastic.
 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Java: Общие вопросы | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.0525 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.