Модераторы: LSD, AntonSaburov
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Проблема с закачкой страницы. 
:(
    Опции темы
unkis
Дата 29.6.2005, 21:56 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 802
Регистрация: 8.9.2004

Репутация: нет
Всего: 1
Ребята пытаюсь закачать вот эту страницу http://www.mobile.de/cgi-bin/da.pl?id=1111...99585&sprache=1

делаю это вот так вот

Код

int c;
    URL hp = new URL(Url);
    System.out.println("Url= "+Url);
    URLConnection hpCon = hp.openConnection();
    

    int len = hpCon.getContentLength();
    //System.out.println("len=" + len);
    if (len > 0) {
      //int i = len;
      InputStream input = hpCon.getInputStream();
      while (((c = input.read()) != -1) && (--len > 0)) {
        s2.append((char)c);
      }
      input.close();
    }
    else {
      System.out.println("Net sodergimogo ili no connection");
    }


Выдаёт следующую ошибку

Код

Url= http://www.mobile.de//cgi-bin/da.pl?bereich=pkw&top=1&id=11111111162043205&
********************
Net sodergimogo ili no connection
-1
-1



Немогу понять в чём проблемма, ведь зайти на страницу я могу => значит она существует.
Почему я тогда её не могу скачать?
И как мне её скачать?

Зарания благодарен.

Это сообщение отредактировал(а) unkis - 29.6.2005, 22:00


--------------------
www.unkis.com
PM MAIL WWW   Вверх
Domestic Cat
Дата 30.6.2005, 01:17 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Экс. модератор
Сообщений: 5452
Регистрация: 3.5.2004
Где: Dallas, US

Репутация: 50
Всего: 172
Сервер шлет тебе респонс 403... Может он ждет какие хедеры?


--------------------
PM   Вверх
igon
Дата 30.6.2005, 13:16 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 327
Регистрация: 30.10.2004

Репутация: 1
Всего: 21
На getContentLength() не всегда можно полагаться. Например, при динамическом формировании ответа (у тебя - pl) он вполне может вернуть 0. Попробуй закомментировать проверку на длину.
Условие && (--len > 0) вообще лишнее

Посимвольное чтение из потока - не самый оптимальный вариант. Лучше -
BufferedInputStream, и читать, пока не вернет -1.




--------------------
Хотите поговорить об этом?
PM   Вверх
unkis
Дата 30.6.2005, 15:02 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 802
Регистрация: 8.9.2004

Репутация: нет
Всего: 1
Domestic Cat
Что это за ошибка такая?

igon:
А как через BufferedInputStream, работать




--------------------
www.unkis.com
PM MAIL WWW   Вверх
igon
Дата 30.6.2005, 20:54 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 327
Регистрация: 30.10.2004

Репутация: 1
Всего: 21
Код


...
        BufferedOutputStream out   = null;            // The output stream (for storing the contents of the file)
        BufferedInputStream  in    = null;            // The input stream (for reading the contents of the file
        URL                  url;
        HttpURLConnection    con;
        final int            block = 4096;            // размер буфера
        byte[]               buf   = new byte[block]; // буфер ввода/вывода
        int                  count = 0;               // The number of bytes read in one iteration
        
        boolean              notEmpty = false;

        try
          {
            url = new URL("http://"+urlStr); // Open a connection
            con = (HttpURLConnection)url.openConnection(); // Cast для HTTP протокола, для других должен быть другой
            con.setDoInput  (true);
            con.setUseCaches(false);
            con.setAllowUserInteraction( false );
           con.setFollowRedirects( false );
            count = 0;  // The number of bytes read in one iteration
            in = new BufferedInputStream(con.getInputStream()); // Получение входного потока
                while((count = in.read(buf, 0, block)) != -1)
                  {
                    if (count > 0) 
                      {
                        if (!notEmpty)
                          {
                            notEmpty = true;
                            out = new BufferedOutputStream(new FileOutputStream(saveToFolder+outFileNamePrefix+fileIn)); // Output file
                          }
                        out.write(buf, 0, count);
                      }
                  }
          }
          catch (FileNotFoundException e)
            {
              e.printStackTrace();
            }
          catch (MalformedURLException e)
            {
              e.printStackTrace();
            }
          catch (IOException e)
            {
              e.printStackTrace();
            }
...



--------------------
Хотите поговорить об этом?
PM   Вверх
unkis
Дата 1.7.2005, 12:02 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 802
Регистрация: 8.9.2004

Репутация: нет
Всего: 1
При помощи твоего кода возвращается следующий exeption.

Код

java.io.IOException: Server returned HTTP response code: 403 for URL: http://www.mobile.de//cgi-bin/da.pl?bereich=pkw&top=1&id=11111111162043205&
    at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
    at de.unkis.Parser.UrlConaction(Parser.java:139)
    at de.unkis.Parser.start(Parser.java:46)
    at de.unkis.MainApp.main(MainApp.java:25)



Как с етим бороться?


--------------------
www.unkis.com
PM MAIL WWW   Вверх
Metal_Heart
Дата 1.7.2005, 14:33 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


а почему бы и нет?
**


Профиль
Группа: Участник
Сообщений: 728
Регистрация: 31.3.2005
Где: Москва

Репутация: 4
Всего: 12
unkis а ты, случаем, не через прокси в инет выходишь?


--------------------
 не стыдно учиться, а стыдно не учиться 
PM ICQ   Вверх
korob2001
Дата 1.7.2005, 16:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Комодератор
Сообщений: 2871
Регистрация: 29.12.2002

Репутация: 1
Всего: 61
Мне он уже вообще вот что отвечает:
Код

Der von Ihnen gesuchte Datensatz existiert nicht mehr.  
 
Das Fahrzeug wurde bereits aus der Datenbank gelöscht. 

Помоему этот автомобиль уже не доступен. Попробуй другой url, например этот:
http://www.mobile.de/cgi-bin/da.pl?bereich...80812&sprache=1


--------------------
"Время проходит", - привыкли говорить вы по неверному пониманию. 
"Время стоит - проходите вы".
PM MAIL WWW ICQ MSN   Вверх
unkis
Дата 1.7.2005, 21:34 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 802
Регистрация: 8.9.2004

Репутация: нет
Всего: 1
Цитата(korob2001 @ 1.7.2005, 16:24)
Мне он уже вообще вот что отвечает:
Код

Der von Ihnen gesuchte Datensatz existiert nicht mehr.  
 
Das Fahrzeug wurde bereits aus der Datenbank gelöscht. 

Помоему этот автомобиль уже не доступен. Попробуй другой url, например этот:
http://www.mobile.de/cgi-bin/da.pl?bereich...80812&sprache=1

Пробивал и ету ссилку, тоге ничего не получается, такая же ошибка как и више.

что делат даге не знаю.


и proxyi я не исползую


--------------------
www.unkis.com
PM MAIL WWW   Вверх
korob2001
Дата 2.7.2005, 02:01 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Комодератор
Сообщений: 2871
Регистрация: 29.12.2002

Репутация: 1
Всего: 61
Я в Java пока не силён, могу на Perl кинуть код, который делает это. smile


--------------------
"Время проходит", - привыкли говорить вы по неверному пониманию. 
"Время стоит - проходите вы".
PM MAIL WWW ICQ MSN   Вверх
unkis
Дата 2.7.2005, 11:31 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 802
Регистрация: 8.9.2004

Репутация: нет
Всего: 1
Кинь посмотрим на него.


--------------------
www.unkis.com
PM MAIL WWW   Вверх
korob2001
Дата 2.7.2005, 12:32 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Комодератор
Сообщений: 2871
Регистрация: 29.12.2002

Репутация: 1
Всего: 61
Вот простой вариант, хотя наверное можно ещё проще:
Код

#!/usr/bin/perl
use strict;
use LWP::UserAgent;

# URL СТРАНИЦЫ
my $url = 'http://www.mobile.de/cgi-bin/da.pl?bereich=pkw&id=11111111171680812&sprache=1';

# Заголовок страницы, если не выводишь полученную информацию в браузер можно убрать
print "Content-type: text/html\n\n";


my $user_agent = LWP::UserAgent->new();
# Прикинемся браузером
$user_agent->agent("Mozilla/6.0");
# Подготавливаем GET запрос
my $request = HTTP::Request->new(GET => $url);
# Указываем, какой тип документа готовы принять
$request->header('Accept' => 'text/html');
# Посылаем запрос серверу
my $result = $user_agent->request( $request );

# Если запрос прошёл успешно, значит выводим ответ сервера
if ( $result->is_success ) {
     print $result->content();
} else {
     # В противном случае, сообщение об ошибке
     print "Fuck! Can't connect: " . $result->status_line . "\n";
}

Сейчас попробую написать чего-нить попроще. smile

А такой код, создаст зеркало этой страницы у тебя на винте, в текущем каталоге:
Код

#!/usr/bin/perl
use LWP::Simple;
# URL СТРАНИЦЫ
my $url = 'http://www.mobile.de/cgi-bin/da.pl?bereich=pkw&id=11111111171680812&sprache=1';
mirror("$url", "test.html");


Это сообщение отредактировал(а) korob2001 - 2.7.2005, 12:49


--------------------
"Время проходит", - привыкли говорить вы по неверному пониманию. 
"Время стоит - проходите вы".
PM MAIL WWW ICQ MSN   Вверх
igon
Дата 3.7.2005, 12:35 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 327
Регистрация: 30.10.2004

Репутация: 1
Всего: 21
Код

package unkis;
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

public class Test 
  {
    public Test()
      {
      }

    /** Download a file */
    public void downloadIt() 
      {
        BufferedOutputStream out   = null;            // The output stream (for storing the contents of the file)
        BufferedInputStream  in    = null;            // The input stream (for reading the contents of the file
        URL                  url;
        HttpURLConnection    con;
        final int            block = 4096;            // размер буфера
        byte[]               buf   = new byte[block]; // буфер ввода/вывода
        int                  count = 0;               // The number of bytes read in one iteration
        boolean              notEmpty;
        notEmpty    = false;
        try
          {
            String urlStr = "http://www.mobile.de/cgi-bin/da.pl?bereich=pkw&id=11111111171680812&sprache=1";
            url = new URL(urlStr); // Open a connection
            con = (HttpURLConnection)url.openConnection(); // Cast для HTTP протокола, для других должен быть другой
            con.setDoInput  (true);
            con.setUseCaches(false);
            con.setAllowUserInteraction( false );
           con.setFollowRedirects( false );
// !!!
            con.addRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");
// !!!
            count = 0;  // The number of bytes read in one iteration
            if (con.getResponseCode() >= 400)
              {
                System.out.println("Ошибка "+con.getResponseCode()+" приема файла " 
                                              +  " - " + con.getResponseMessage());
              }
            else
              {
                in = new BufferedInputStream(con.getInputStream()); // Получение входного потока
                while( (count = in.read(buf, 0, block)) != -1)
                  {
                    if (count > 0) 
                      {
                        if (!notEmpty)
                          {
                            notEmpty = true;
                            out = new BufferedOutputStream(new FileOutputStream("C:\\unkis.html")); // Output file
                          }
                        out.write(buf, 0, count);
                      }
                  }
              }
          }
          catch (FileNotFoundException e)
            {
              e.printStackTrace();
            }
          catch (MalformedURLException e)
            {
              e.printStackTrace();
            }
          catch (IOException e)
            {
              e.printStackTrace();
            }
          finally
            {
              if (out != null) 
                { 
                  try {
                        out.close();
                      }  
                      catch (IOException e)
                        {
                          e.printStackTrace();
                        }
                }
              if (in != null) 
                {
                  try {
                        in.close();
                      }  
                      catch (IOException e)
                        {
                          e.printStackTrace();
                        }
                }
            } 
      }

    public static void main(String[] args)
      {
        Test test = new Test();
        test.downloadIt();
      }
  }



--------------------
Хотите поговорить об этом?
PM   Вверх
  
 Ответ в темуСоздание новой темы Создание опроса
Правила форума "Java"
LSD   AntonSaburov
powerOn   tux
javastic
  • Прежде, чем задать вопрос, прочтите это!
  • Книги по Java собираются здесь.
  • Документация и ресурсы по Java находятся здесь.
  • Используйте теги [code=java][/code] для подсветки кода. Используйтe чекбокс "транслит", если у Вас нет русских шрифтов.
  • Помечайте свой вопрос как решённый, если на него получен ответ. Ссылка "Пометить как решённый" находится над первым постом.
  • Действия модераторов можно обсудить здесь.
  • FAQ раздела лежит здесь.

Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux, javastic.
 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Java: Общие вопросы | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.0593 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.