VPF::Регулярные выражения. Unicode - Форум программистов

Ruslan_

Дата 23.2.2007, 18:10 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 75
Регистрация: 4.12.2004

Репутация: нет
Всего: нет

Подскажите, как использовать регулярные выражения при работе с Unocode?
(Если у меня например текст на китайском или турецком языках.)

Код


import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.io.*;

public class Main {
    
    public Main() {
    }
    public static void main(String[] args) throws FileNotFoundException, UnsupportedEncodingException, IOException {
        BufferedReader in = new BufferedReader(new InputStreamReader(new FileInputStream("in.txt"),"UTF-8")); // file in UNICODE
        String text = in.readLine();
        String regEx="\\p{Alpha}+";
        System.out.println(text); // текст выводится знаками ?????
        Pattern pattern = Pattern.compile(regEx);
        Matcher m = pattern.matcher(text);
        while (m.find())
        {
          System.out.println(m.group());
        }
    }
}

Программма не работает с другими символами кроме латинских.

nornad

Дата 23.2.2007, 18:54 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1079
Регистрация: 16.2.2007
Где: в Караганде

Репутация: 16
Всего: 31

Всё дело в том, что {Alpha} - это только латинские символы. Нужен китайский, турецкий или русский - дорисовывай самостоятельно. Для русского:
"[а-яёА-ЯЁ]"

--------------------

Три достоинства программиста: Леность, Нетерпение и Гордость
Ларри Уолл

Ruslan_

Дата 23.2.2007, 18:56 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 75
Регистрация: 4.12.2004

Репутация: нет
Всего: нет

A net edinogo oboznacheniya ponyatiya bukva? Tak kak cifra(\d)?
Izvinite za moi angliiskii smile

Это сообщение отредактировал(а) Ruslan_ - 23.2.2007, 19:05

Ruslan_

Дата 23.2.2007, 19:17 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 75
Регистрация: 4.12.2004

Репутация: нет
Всего: нет

Ili togda ukazat' v Unicode voobsche ves' vozmozhnii diapazon?
[ \u0000-\uFEFE] - tk normal'no?

Это сообщение отредактировал(а) Ruslan_ - 23.2.2007, 19:18

Ruslan_

Дата 23.2.2007, 21:19 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 75
Регистрация: 4.12.2004

Репутация: нет
Всего: нет

vsyakie (?u) i Pattern.UNICODE_CASE ne rabotaet.
Kak bit' s Unicodom?

LSD

Дата 24.2.2007, 13:18 (ссылка)

(нет голосов)

Загрузка ...

Leprechaun Software Developer

Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 210
Всего: 538

Код

String str = "васїлий";
Pattern pattern = Pattern.compile("\\p{L}+");
Matcher matcher = pattern.matcher(str);
System.out.println("matcher.matches() = " + matcher.matches());

--------------------

Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.

Ruslan_

Дата 24.2.2007, 19:40 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 75
Регистрация: 4.12.2004

Репутация: нет
Всего: нет

Спасибо, тебе большое LSD! (Коротко и понятно)
Я удивился, узнав, что \\p{Alpha} только для латинских букв срабатыает, странно очень...
Я в инете нашел (наконец-то) инфу об Unicode (http://www.unicode.org/reports/tr18/tr18-11.html).

nornad

Дата 25.2.2007, 01:25 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1079
Регистрация: 16.2.2007
Где: в Караганде

Репутация: 16
Всего: 31

Я тоже присоединяюсь к "спасибе" ;)
В жабадоке настолько вскользь упоминается \p{L}, что я его и не заметил. Даже сейчас не сразу нашёл. ;)

--------------------

Три достоинства программиста: Леность, Нетерпение и Гордость
Ларри Уолл

Valeria

Дата 7.9.2007, 12:35 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 277
Регистрация: 16.5.2006
Где: Санкт-Петербург

Репутация: нет
Всего: нет

подскажите плиз, что делать с Арабскими символами??? нужно распознавать их в обычном тексте?

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Java: Общие вопросы \| Следующая тема »