Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Java: Работа с сетью > URLConnection: java.net.ProtocolException

Автор: T_Serg 5.8.2009, 15:29

Перед созданием POST запроса к серверу необходимо прочитать контент странички. Это необходимо для того, чтобы узнать поле name тегов, которые нужно послать с пост запросом (при каждом обращении к страничке генерируется новое значение поля name необходимого тега)
Я пытаюсь cделать так:

Код


            url = new URL("http://www.aaa.bb");

            URLConnection urlConnection = url.openConnection();
            urlConnection.setDoInput(true);
            urlConnection.setDoOutput(true);
            InputStream input=urlConnection.getInputStream();
            //тут обрабатывается страничка и получается поля name необходимых тегов
            input.close();

                //далее забиваем их как параметры Post запроса
                        PrintWriter output = new PrintWriter(urlConnection.getOutputStream());
            output.print("tag1");
            output.print('=');
            output.print(URLEncoder.encode("value1", "UTF-8"));
            output.print("tag2");
            output.print('=');
            output.print(URLEncoder.encode("value2", "UTF-8"));
            output.close();
            
                        //считываю ответ  сервера после Post запроса
            Scanner scanner=new Scanner(urlConnection.getInputStream());
                       //......

В результате получаю
java.net.ProtocolException: Cannot write output after reading input.
at sun.net.www.protocol.http.HttpURLConnection.getOutputStream(Unknown Source)

Возможно ли в одном соединении URLConnection делать и get и post запросы?

Автор: COVD 5.8.2009, 18:13

нет

Автор: T_Serg 6.8.2009, 09:23

а другими способами это возможно реализовать? например апачевским HTTPClient?

Автор: COVD 6.8.2009, 12:53

URLConnection по возможности использует одно физическое соединение при повторных обращениях к одному хосту (если не применять disconnect() после каждого запроса), хотя обьект URLConnection надо каждый раз создавать новый. Это, наверное, вводит в заблуждение. Применять HttpClient нет необходимости.

Автор: LSD 6.8.2009, 16:49

Цитата(COVD @ 6.8.2009, 12:53

)

Откуда такая информация? И где храниться это соединение, между созданиями URLConnection?

Автор: COVD 6.8.2009, 17:41

LSD, спасибо. Моя ошибка :( . Для повторных запросов используется тот же обьект HttpURLConnection.

PS. Тут действительно как-то непонятно. Для каждого нового запроса создается новый обьект HttpURLConnection, но где-то в глубине хранятся сокетные соединения, которые могут быть использованы повторно. Так сказано в документации. Однако меня смутила строка из документации к методу disconnect() :

Цитата

Indicates that other requests to the server are unlikely in the near future. Calling disconnect() should not imply that this HttpURLConnection instance can be reused for other requests.

Непонятно, как инстанс HttpURLConnection вообще можно использовать повторно. Это одноразовый обьект, создаваемый для одного запроса. Вторую фразу, наверное, можно понимать как "не думайте, что применение disconnect() позволит повторно использовать обьект". В смысле, что это невозможно никогда.

PPS

Цитата

Откуда такая информация? И где храниться это соединение, между созданиями URLConnection?

http://java.sun.com/j2se/1.5.0/docs/api/java/net/HttpURLConnection.html

Цитата

Each HttpURLConnection instance is used to make a single request but the underlying network connection to the HTTP server may be transparently shared by other instances. Calling the close() methods on the InputStream or OutputStream of an HttpURLConnection after a request may free network resources associated with this instance but has no effect on any shared persistent connection. Calling the disconnect() method may close the underlying socket if a persistent connection is otherwise idle at that time.

Автор: T_Serg 7.8.2009, 10:26

Я попробовал сделать как советуете:

Код


            
    
            URL url=new URL("some site");

            URLConnection firstConnection= url.openConnection();
                
            Scanner in=new Scanner(firstConnection.getInputStream());
            FileWriter writer=new FileWriter(new File("inputStream1.html"));

                            
            while (in.hasNext())
            {
                String line=in.nextLine();
                writer.write(line+"\n");
            }
            writer.close();
            
            URLConnection secondConnection= url.openConnection();
            
            in=new Scanner(secondConnection.getInputStream());
            writer=new FileWriter(new File("inputStream2.html"));
                            
            while (in.hasNext())
            {
                String line=in.nextLine();
                writer.write(line+"\n");
            }
            writer.close();

Для некоторых сайтов это подходит. Контент совпадает и генериремые поля тегов совпадают. Для не которых это вариант не подошел (для google.com). Как найти универсальное решение? Может что то можно изменить в исходнике класса URLConnection?

Автор: COVD 7.8.2009, 15:07

google.com всего лишь вставляет в страницу уникальные для каждого запроса ключи.

Код


           URL url=new URL("http://www.google.com");

            URLConnection firstConnection= url.openConnection();

            Scanner in=new Scanner(firstConnection.getInputStream());

            List<String> first = new ArrayList();
            while (in.hasNext())
            {
                String line=in.nextLine();                
                first.add(line);
            }
                        

            URLConnection secondConnection= url.openConnection();

            in=new Scanner(secondConnection.getInputStream());

            List<String> second = new ArrayList();
            while (in.hasNext())
            {
                String line=in.nextLine();                
                second.add(line);
            }

            //compare responses
            System.out.println("first.size() = " + first.size());
            for(int i = 0; i < first.size(); i++){
                String firstHTML = first.get(i);
                String secondHTML = second.get(i);
                if(firstHTML.compareTo(secondHTML) != 0){
                    System.out.println("i = " + i);
                    System.out.println("1: "+firstHTML);
                    System.out.println("2: "+secondHTML);
                }
            }

Программа выдает:

Код


i = 0
1: <!doctype html><html><head><meta http-equiv="content-type" ..... window.google={kEI:"6RN8Su7CIpu ......
2: <!doctype html><html><head><meta http-equiv="content-type" ..... window.google={kEI:"6RN8SrTGK5D ......
.....

Запросы разные и в каждом ответе оригинальное значение ключа, а физическое соединение одно. Или не одно. Если сервер не поддерживает keepAlive, то на каждый запрос будет создаваться новое соединение. Но это скрыто от программиста. Программист работает с запросом.

Необязательно использовать один и тот же обьект URL. Его можно создавать заново для каждого запроса. Если хост запросов одинаковый, то будет использоваться одно shared сокетное соединение (если сервер поддерживает этот режим и соединение не закрывается явно командой disconnect() на клиенте ).

Автор: LSD 7.8.2009, 17:44

Ну там написанно may be, так что я понимаю это implementation specific. Ну и плюс используемая версия протокола.

Имхо если уж так важен keep-alive, то я бы рекомендовал HttpClient, там над этим больше контроля.