Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > Java: Общие вопросы > В какой кодировке Java читает файл?


Автор: korob2001 3.10.2014, 20:13
Привет, всем!

Если вопрос не совсем корректно задан, извините - у меня уже голова квадратная. Опишу чуть подробнее суть проблемы.

Как-то мне довелось писать одну программу, она замечательно работала, пока не стал вопрос о том, что бы удовлетворить  русско-язычную публику. smile Программа занимается автоматической рассылкой почты для клиентов одной фирмы (письма активации учётных записей, подтверждения о покупке, информация о доставке и т.п.). Программа должна была отправлять письма в различных форматах, на разных языках. Я понимал, что со временем в неё нужно будет добавлять новые сообщения, потому решил писать её в стиле pluggable. В итоге получилось 2 jar архива (mail-plugin-api.jar - интерфейсы которые плагины должны реализовывать, MailService.jar - основная программа, интерфейс пользователя, загрузка плагинов и т.д.), так еже есть папка plugins куда помещаются сами плагины (тоже jar архивы). 

Так как формат писем у каждого плагина разный (под форматом я подразумеваю дизайн - оформление), каждый плагин содержит свои HTML шаблоны, примерно такого вида en_template.html, для каждого языка свой:
Код

<html>
    <body>
        <h2>Hello, @UserName!</h2>
        ...............
    </body>
</html>

Такие HTML файлы находятся внутри jar архива каждого плагина, когда программа с помощью плагина получает содержимое этого файла происходит подстановка спец. слов (таких как @UserName). Этот HTML файл в кодировке UTF-8. Вот так программа формирует и отправляет Email:
Код

private synchronized String sendHtmlEmail(Email email)
        throws EmailException, MalformedURLException {
    HtmlEmail mail = new HtmlEmail();
    mail.setCharset(EmailConstants.UTF_8);
    mail.addHeader("X-organization", email.getFrom().getName());
    mail.setHostName(settings.getString(SettingsKey.MailHost));
    mail.setFrom(email.getFrom().getEmail(), email.getFrom().getName());

    for (EmailAddress toAddress : email.getAllTo()) {
        mail.addTo(toAddress.getEmail(), toAddress.getName());
    }

    mail.setSubject(email.getSubject());
    mail.setHtmlMsg(mailer.getBodyForEmail(email));

    for (Attachment attachment : email.getAttachments()) {
        mail.attach(createAttachment(attachment));
    }
    return mail.send();
}

Отсюда видно, что кодировку устанавливаю первым делом, сразу же после создания объекта HtmlEmail, но если шаблон на русском языке, то приходит примерно такое:
Код

�?к�?иви�?�?й�?е ва�?�? �?�?�?�?н�?�? запи�?�?
Здрав�?твуйте [ЗДЕСЬ ИМЯ ПОЛЬЗОВАТЕЛЯ],
Вы у�?пешно зареге�?трированы на 

Если пишу например Subject прямо в коде, на русском языке, тогда он отображается как положено, но если читаю из файла, вложенного в jar плагина - результат можно видеть выше. ;(((((

Понимаю, что проблема с кодировкой. Если нужно привести ещё какую-то часть кода, то скажите какую именно, я приведу.

Заранее спасибо за помощь.

Автор: sgrey 5.10.2014, 18:32
проблема скорее всего здесь в том, что файл сохранён не в юникоде, а в другой кодировке. Попробуй файл сохранить в UTF-8

Автор: Pawl 5.10.2014, 23:17
Цитата

   но если читаю из файла, вложенного в jar плагина - результат можно видеть выше
   

Может, перед отправкой принудительно кодировать сообщение из файла в UTF-8? К примеру, так:
Код

String message = java.net.URLEncoder.encode(fileName, UTF-8);


Этот ответ добавлен с нового Винграда - http://ru.vingrad.com/V-kakoy-kodirovke-Java-chitayet-fayl-id542ed998ae2015d17c8b4567#findElement_E7045_5431a759ae20152978682ea6_0

Автор: Pawl 5.10.2014, 23:24
Пардон, вместо fileName имелось ввиду, конечно, текстовое содержимое файла. Вообще, аргументы д. б. типа String, так что
Код

String message = java.net.URLEncoder.encode(fileContent, "UTF-8");


Этот ответ добавлен с нового Винграда - http://ru.vingrad.com/V-kakoy-kodirovke-Java-chitayet-fayl-id542ed998ae2015d17c8b4567#findElement_E7045_5431a90dae20155b78682f70_0

Автор: serger 7.10.2014, 07:18
Скорее всего двойное преобразование кодировок.
Почитайте:
http://skipy.ru/technics/encodings.html

Этот ответ добавлен с нового Винграда - http://ru.vingrad.com/V-kakoy-kodirovke-Java-chitayet-fayl-id542ed998ae2015d17c8b4567#findElement_E7045_543369a2ae2015613f68307d_0

Автор: korob2001 7.10.2014, 17:35
Спасибо, сейчас почитаю и завтра на работе буду пробовать. На работе, межу делом, загрузили другой работой, даже сюда зайти времени не было.

Добавлено через 5 минут и 56 секунд
Да, кстати, я забыл сразу написать. Писал я эту программу на своём ноутбуке, когда на нём её запускал, всё работало правильно. Я так понимаю из-за того, что локаль на нём русская была ru_RU, а когда перенёс приложение на сервер, где локаль нидерландская nl_BE. После чего пробовал явно указывать локаль, в зависимости от того, на каком языке шаблон, но всё равно не помогло.

Автор: korob2001 9.10.2014, 12:02
Доброе утро!

Почитал статью. Перевёл кодировку properties файлов назад в  iso-8859- , откуда так же берутся Тема письма и другая дополнительная информация, они так же находятся в jar плагина. Вот, примерно в таком виде:
Код

Subject=Активируйте вашу учётную запись
[email protected]
[email protected]
FromName=Informer
CcName=Имя человека, кому будет отправляться копия

Subject здесь на русском языке и то, что в properties файлах нужно использовать только кодировку iso-8859-1, а остальные символы нужно прописывать кодами \uXXXX, меня немного смутило. Дело в том, что я переводил кодировку этих файлов тоже в UTF-8 и в принципе программа читала эти файлы, пусть и не совсем правильно. Символы русского алфавита я всегда писал в properties файлы, без всяких кодов. В общем, полез я в проект с блокнотом и выяснилось, что это NetBeans переводил коды \uXXXX в символы и обратно симовлы в коды \uXXXX. Потому раньше для меня это всё происходило прозрачно, в смысле никаких кодов я никогда туда не писал.

Насколько я понимаю проблема в коде, который читает HTML шаблон из файла, т.е. где-то здесь.
Код

protected static String loadDefaultTemplate(String path) throws CanNotBeLoadException {
    StringBuilder result = new StringBuilder();
    try {
        try (BufferedReader br = new BufferedReader(new InputStreamReader(
            Utilities.class.getClassLoader().getResourceAsStream(path)))) {
              
            String line;
            while ((line = br.readLine()) != null) {
                result.append(line);
            }
        }
    } catch (IOException ex) {
        throw new CanNotBeLoadException(ex);
    }
    return result.toString();
}

Попробовал изменить сделать так:
Код

try (BufferedReader br = new BufferedReader(new InputStreamReader(
    Utilities.class.getClassLoader().getResourceAsStream(path), "UTF-8"))) {
                
    String line;
    while ((line = br.readLine()) != null) {
        result.append(line);
    }
}

Т.е указал кодировку. Теперь получаю письмо в таком виде:
Код

Активируйте вашу учётную запись
Здрав�твуйте Mr. Denys Korobov,
Вы у�пешно Еареге�трированы на.
Чтобы вы могли Еайти в �и�тему, вы должны активи
ровать �вою учётную Еапи�ь. Дл� �того вам необходимо перейти
по �ледующей ��ылке.

Причём первая строка это Subject из properties файла, она так же присутствует и в теле письма. Вот она теперь отображается правильно, зато всё остальное, нет. ;((((

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)