Модераторы: LSD, AntonSaburov
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Получение страницы 
V
    Опции темы
niro
Дата 2.12.2007, 17:37 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 52
Регистрация: 16.12.2006

Репутация: нет
Всего: нет
Приветствую. Я пытаюсь скачать определенную страницу и привести ее к utf8. Получение страницы происходит, но приведение ее к utf8 не получается. Правильность приведения я смотрю по сохраненному файлу в браузере. Пытался найти ответа у гугла, но увы, ничего не получилось. 
Код

import java.net.URL;
import java.net.URLConnection;
import java.io.*;

public class HTTPClientTest {
    protected static String extract(String str, String start, String end){
        int s = str.indexOf("\n\n", 0), e;
        if(s < 0) s = str.indexOf("\r\n\r\n", 0);
        if(s > 0) str = str.substring(0, s);
        s = str.indexOf(start, 0)+start.length();
        if(s < start.length()) return null;
        e = str.indexOf(end, s);
        if(e < 0) e = str.length();
        return (str.substring(s, e)).trim();
    }
    public static void main(String arg[]) throws IOException {
        URL url = new URL("http://www.linux.org.ru");
        StringBuffer sbuf = new StringBuffer();
        URLConnection conn = url.openConnection();
        String ct = conn.getContentType();
        String charset = extract(ct, "charset=","\n");
        System.out.println("Charset: " + charset);

        InputStream isr = ((InputStream)conn.getContent());

        int b = 0;
        while((b = isr.read()) > -1) {
            byte bt[] = {(byte)b};
            sbuf.append(new String(bt, charset));
        }
        FileWriter out = new FileWriter ("page");
        out.write(sbuf.toString());
        out.close();

    }
}

Спасибо.
PM MAIL   Вверх
LSD
Дата 3.12.2007, 14:54 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 19
Всего: 538
Не удивительно:
1. FileWriter пишет в умолчальной кодировке системы.
2. Многобайтовые кодировки кодировать побайтово нельзя.

Делай так:
Код

public class HTTPClientTest
{
  protected static String extract(String str, String start, String end)
  {
    int s = str.indexOf("\n\n", 0), e;
    if(s < 0)
      s = str.indexOf("\r\n\r\n", 0);
    if(s > 0)
      str = str.substring(0, s);
    s = str.indexOf(start, 0) + start.length();
    if(s < start.length())
      return null;
    e = str.indexOf(end, s);
    if(e < 0)
      e = str.length();
    return (str.substring(s, e)).trim();
  }

  public static void main(String arg[]) throws IOException
  {
    URL url = new URL("http://www.linux.org.ru");
    URLConnection conn = url.openConnection();
    String ct = conn.getContentType();
    String charset = extract(ct, "charset=", "\n");
    System.out.println("Charset: " + charset);

    Reader reader = new InputStreamReader(conn.getInputStream(), charset);
    Writer writer = new OutputStreamWriter(new FileOutputStream("page"), charset);

    int read;
    char[] buffer = new char[1024];
    while((read = reader.read(buffer)) > -1)
      writer.write(buffer, 0, read);
    reader.close();
    writer.close();
  }
}



--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
niro
Дата 3.12.2007, 18:15 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 52
Регистрация: 16.12.2006

Репутация: нет
Всего: нет
А как загнать в String(StringBuffer) в 33 строке ? 
PM MAIL   Вверх
sith
Дата 3.12.2007, 22:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 537
Регистрация: 11.2.2007

Репутация: 1
Всего: 1
String str = new String(buffe);


--------------------
Там где ты ставишь глупые смайлики, я вбиваю восклицания знаки!!!
PM MAIL   Вверх
LSD
Дата 3.12.2007, 23:54 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 19
Всего: 538
Код

stringBuffer.append(buffer, 0, read);

только зачем тебе все копировать в строку, если ты все равно потом пишешь в файл?


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
niro
Дата 4.12.2007, 15:33 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 52
Регистрация: 16.12.2006

Репутация: нет
Всего: нет
LSD, 
не факт что я не буду по пути парсить текст smile

Добавлено через 8 минут и 41 секунду
Шикарно. smile
Спасибо за помощь
PM MAIL   Вверх
LSD
Дата 5.12.2007, 13:08 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 19
Всего: 538
Пожалуйста smile

P.S. Не забывай помечать вопрос решенным.


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
  
 Ответ в темуСоздание новой темы Создание опроса
Правила форума "Java"
LSD   AntonSaburov
powerOn   tux
  • Прежде, чем задать вопрос, прочтите это!
  • Книги по Java собираются здесь.
  • Документация и ресурсы по Java находятся здесь.
  • Используйте теги [code=java][/code] для подсветки кода. Используйтe чекбокс "транслит", если у Вас нет русских шрифтов.
  • Помечайте свой вопрос как решённый, если на него получен ответ. Ссылка "Пометить как решённый" находится над первым постом.
  • Действия модераторов можно обсудить здесь.
  • FAQ раздела лежит здесь.

Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux.
 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Java: Работа с сетью | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.0542 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.