Здравствуйте!

Сейчас разбираюсь с юникодом в перл. У меня появилась такая проблема:



Для данного кода должно выдать 

  utf8 flag: is utf8

а выдает:

  utf8 flag: no utf8

В чем может быть проблема? 

Пример писал по следующей статье: UTF Perl Practice, или как использовать UTF-8 в перле

Потому что вы записали в строку два байта. Перл "не догадывается", без вашей помощи, как эти байты интерпретировать) Чтобы строку из байт проинтерпретировать как строку, записанную в utf8, надо выполнить utf8::decode($bad_string_with_utf8_flag).

Т.е. получается, в приведенной статье ошибка:

Напишите автору)

Т.е. я так понял, что данная строка ("\x{d0}\x{90}") не имеет UTF-флага, UTF-флаг имеет каждый октет и чтобы Perl воспринимал данную строку как строку с UTF-флагом, нужно преобразовать ее в "нормальное" представление ("\x{410}") с помощью utf8::decode?

Что-то я запутался!

Например, мы имеем три переменные:


Названия переменных говорят сами за себя, т.е.
"\x{410}" - это настоящая Unicode строка, при проверке на utf8::is_utf8 выдает true
"А" - строка без utf-флага, т.е. по-сути набор байтов
"\x{d0}\x{90}" - "поломанная" строка без utf-флага

Но вот незадача - Data::Dumper выводит для строки $bad_string_without_utf8_flag строку 'А', а не "\x{d0}\x{90}". А все потому, что строка не имеет utf-флага. Для того, чтобы поднять utf-флаг, необходимо выполнить:



Самое интерестное, что если к строке $string_without_utf8_flag применить функцию utf8::upgrade, мы получим строку "\x{d0}\x{90}" с поднятым utf-флагом

Добавлено через 10 минут и 24 секунды
Из данных рассуждений получается следующее: чтобы вышеприведенные пример из статьи был правильным (корректным), необходимо вручную выставить utf-флаг на строку "\x{d0}\x{90}".

Другими словами, для данного кода


данная статья будет корректна, и Data::Dumper будет нормально отображать строку "\x{d0}\x{90}", а utf8::is_utf8 будет давать 1 (true)


Это сообщение отредактировал(а) slavenk - 16.7.2012, 17:40

perlunicode


В статье пишется, что это два символа юникод. На самом деле это два байта.

Действительно:



Единственно, не могу понять, как правильно перевести слово "ord" в комментарии

По смыслу получается

ords, видимо, образовано от функции ord(), или от слова, от которого образована функция ord().


Это сообщение отредактировал(а) Pfailed - 17.7.2012, 12:48

>слова, от которого образована функция ord
Ordinal 

Кстати, это не два байта, а два слова (четыре байта (октета)). Это как раз доказывает функция utf8::upgrade:

$num_octets = utf8::upgrade('А'); # $num_octets = 4

Насколько я понял upgrade() говорит сколько байт нужно что бы представить переданную последовательность, как буквы в utf-8. По два байта на каждый non-ASCII символ, итого 4.
Попробуйте функцию length() на этой последовательности, она должна возвратить 2.

>По два байта на каждый non-ASCII символ
Вообще, для перлового понимания utf-8, это 2-13. Но для общепринятого юникода - 2-4.

А length на utf-8 строке вернёт её длину в символах, а не байтах. Ради чего всё и затевается. Чтобы посмотреть, что творится внутри строки, надо использовать Devel::Peek'овский Dump.



Это сообщение отредактировал(а) DurRandir - 17.7.2012, 15:27

Большое спасибо за код! Я так понял, только в последнем примере utf8-флаг не установлен. А CUR - это число байтов

>slavenk
Да

Обсуждаемая строка была не utf-8. Для того что бы убедиться можно сделать "use bytes"

Пару ссылок для ТС по сабжу
http://www.nestor.minsk.by/sr/2008/09/sr80902.html
http://xpoint.ru/know-how/Perl/PodderzhkaUnicode

Спасибо за ссылки, кстати в первом посте я указал ссылку http://www.nestor.minsk.by/sr/2008/09/sr80902.html. 
Сейчас разбираюсь с Devel::Peek

Есть вот такой код:


На выход выдает следующее:
SV = PV(0x8d66b60) at 0x8d5c128
  REFCNT = 1
  FLAGS = (PADMY,POK,pPOK)
  PV = 0x8d4eb90 "\320\220"\0
  CUR = 2
  LEN = 12

Не могу понять, что из себя представляет код "\320\220". В какой это кодировке и как можно перевести обратно в нормальное представление?

>say Dump $a;
say не нужен, Dump уже печатает свой вывод

Эта просто байты представления "А" в utf8, т.к. сам скрипт (исходник) в utf-8 (записалось 2 байта за 1 символ в исходнике). Чтобы это стало действительно "А" и с ним можно было работать, существует 2 пути:
1) utf8::decode($a) - нужно, если такие строки приходят снаружи, от каких-либо внешних источников - к примеру, по сети передаются только байты, а как их интерпретировать - уже ваша задача.
2) use utf8; в начале программы. 

Это сообщение отредактировал(а) DurRandir - 18.7.2012, 14:34

Здравствуйте!
Продолжаю разбираться с unicode в Perl. Теперь не пойму следующее: для чего можно применить подпрагмы IN и OUT прагмы open, например



Как я понял, это больше подходит для файлов, чем для стандартных потоков ввода вывода - STDIN, STDOUT и STDERR, но пример не могу составить, как работают эти подпрагмы.