Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Perl: Общие вопросы > UC/LC and UTF-8

Автор: mastercz 11.1.2010, 08:24

подскажите пожалуйста, как в UTF-8 консоли заставить работать uc()/lc() ?
заранее благодарю за ответ.

Автор: krypt3r 11.1.2010, 09:14

Код


use utf8;

Если будет появляться ошибка Wide character in print..., то добавьте, например, строку

Код


binmode STDOUT, ':utf8';

Автор: mastercz 11.1.2010, 09:51

Цитата(krypt3r @ 11.1.2010, 09:14)

Код


use utf8;

Если будет появляться ошибка Wide character in print..., то добавьте, например, строку

Код


binmode STDOUT, ':utf8';

krypt3r а нельзя как нибудь без

Код


binmode STDOUT, ':utf8';

я, к сожалению не понимаю, зачем она здесь, на как-то костыль напоминает.
Возможно я ошибаюсь ?

Возможно есть другие функции заменяющие uc/lc для UTF-8...
P.S >Да кстати, perl 5.8.8, UTF-8 local

Автор: krypt3r 11.1.2010, 10:07

Код


use utf8;
use open qw /:std :utf8/;

Автор: Pfailed 11.1.2010, 10:46

Еще как вариант

Код


use encoding 'utf8';

Тогда патчить stdout не нужно.

Автор: mastercz 22.1.2010, 08:31

что-то не догоняю. подскажите пожалуйста, как быть быть с входными данными. Флаг UTF8 из аргументов не ставиться, как правильно заставить заставить считать перл, что к нему пришли на входе данные в UTF8.
Заранее благодарен за помощь.

Вот тестовый пример..

Код


#!/usr/bin/perl

use strict;
use utf8;
use open qw /:std :utf8/;

#use encoding 'utf8';
#binmode STDOUT, ':utf8';

#use Encode;

use DBI;
use DBD::Pg;
use Devel::Peek;



    my $dbh = DBI->connect("dbi:Pg:dbname=test", "test", "", { AutoCommit=>"0",RaiseError=>"1" });
       $dbh->{pg_enable_utf8} = 1;
       my $arg=@ARGV[0];
       my $select="select * from tsttables";
       my $sth=$dbh->prepare($select);
      $sth->execute;
     
    my $i=0;
       while(my @tmp=$sth->fetchrow_array)
         {

                print uc($tmp[0])."\t".uc($tmp[1])."\t"."\n";
                $i++;
        }

    $dbh->disconnect;

  #Encode::_utf8_on($arg);

    print "-->>".uc($arg)."\n";
    print "-->>";
    print Dump($arg)."\n";
  exit;

Автор: krypt3r 22.1.2010, 09:02

Если данные в базе в UTF-8, то попробуйте после коннекта провести запрос

Код


$dbh->do ("SET client_encoding = utf8");

Автор: Pfailed 22.1.2010, 10:18

Или такой вариант:

Код


$dbh->do('SET names utf8');

Автор: mastercz 22.1.2010, 12:52

Ту дело не в Базе Данных, строки к ней можно закомментировать.

Проблема в том что, строка берущаяся в качестве аргумента без флага UTF8.

В реальной задаче данные которые я подаю на вход WEB - скрипта, превращаются в не читаемую хрень еще до записи в базу.

Думаю это не важно, но на всякий случай в реальной задаче это Apache2+ mod_perl2 + mason 1.39 + perl 5.10

Автор: krypt3r 22.1.2010, 13:57

Эм, а это у вас что?

Код


my $arg=@ARGV[0];

Наверно, предполагалось что-то типа

Код


my $arg=$ARGV[0];
# или
my $arg=shift;

Автор: mastercz 22.1.2010, 15:40

Код


my $arg=@ARGV[0]; 
#запись аналогична
my $arg=$ARGV[0];

Автор: Pfailed 22.1.2010, 19:19

Цитата(mastercz @ 22.1.2010, 15:40)

Код


my $arg=@ARGV[0]; 
#запись аналогична
my $arg=$ARGV[0];

С точки зрения перла не аналогична. Первое - это срез массива, а второе элемент массива.
use warnings об этом намекает.

Автор: mastercz 25.1.2010, 02:04

Выходные кончились, возвращаюсь к задаче.

Чувствую себя полным бараном но пока не вижу решения даннаой проблемы :(
Неужели ни у кого не работает Web-Perl скрипт полностью под UTF-8.
Мне кажется задачка весьма тривиальна просто я чего-то не догоняю.

Поделитесь пожалуйста опытом, как вы заставляете интерпретатор, понимать что из веб-морды пришли данные
в UTF-8. Я предполагаю, если я усилием воли подниму флаг на переменную, то проблема исчезнет. Вот только, _utf8_on($arg); внутренняя функция, а как это сделать корректно, я не знаю. И еще, прагма use open qw /:std :utf8/; должна ИМХО работать и над STDIN и на STDOUT почему же в приведенном выше примере аргумент из командной строки не воспринимается как UTF-8. Для наглядности упрощаю вид вышеприведенного примера:

Код


#!/usr/bin/perl

use strict;
use utf8;
use open qw /:std :utf8/;
use Encode;
use Devel::Peek;

  
 my $arg=$ARGV[0];

#Encode::_utf8_on($arg);

print "-->>".uc($arg)."\n";
print Dump($arg)."\n";
exit;

Автор: krypt3r 25.1.2010, 07:55

Цитата

utf8::downgrade снимает флаг со строки
utf8::upgrade выставляет флаг на строку

http://www.nestor.minsk.by/sr/2008/09/sr80902.html
http://xpoint.ru/know-how/Perl/PodderzhkaUnicode
Для юникодизации массива @ARGV запускайте интерпретатор с ключом -CA

Код


$ perl -CA myscript.pl

Added:
Так как этот ключ не работает в самом скрипте, то можно в BEGIN {...} прописать насильную установку utf8-флага для @ARGV - по дефолту у этого массива данный флаг отключен

Автор: mastercz 26.1.2010, 02:15

krypt3r, спасибо за помощь.

Web-скрипт вроде как отчасти заработал.
Я использовал следующую настройку под html-mason

Код


package SetMasonUTF8;
use base qw(HTML::Mason::Plugin);
use warnings;
use strict;
sub start_request_hook {
    my ( $self, $context ) = @_;
    return if $context->request->is_subrequest;
    my $args_ref = $context->args();
    foreach my $arg ( @{$args_ref} ) {
        utf8::is_utf8($arg) || utf8::decode($arg);
    }
    return;
}
1;

Плюс в настройках Apache2

Код


        PerlSetVar MasonPreamble "use utf8;"
        PerlAddVar MasonPlugins "SetMasonUTF8"

Однако почему то DBI а именно $dbh->errstr выдает некорректный текст несмотря на

Код


$dbh->{pg_enable_utf8} = 1;

Получаю что-то вида

Код


ERROR: Ð½ÐµÐ²ÐµÑÐ½ÑÐ¹ Ð²ÑÐ¾Ð´Ð½Ð¾Ð¹ ÑÐ¸Ð½ÑÐ°ÐºÑÐ¸Ñ Ð´Ð»Ñ ÑÐ¸Ð¿Ð° double, ÑÐ¾ÑÐ½Ð¾ÑÑÑ: ""

Хотя обычный поток данных от DBI идет как нужно.

Да и еще, не врубаюсь почему вместо приведенной надстройки не работает прагма

Код


use open qw /:std :utf8/;

Автор: krypt3r 26.1.2010, 06:47

А вы уверены, что данные в базе именно в UTF8? Что показывает запрос

Код


dbname=# show server_encoding;

?
Делаете ли в скрипте set client_encoding?

Приведу пример. Кластер PostgreSQL собран с кодировкой WIN1251. Есть скрипт, запускаемый локально на серваке. Локаль консоли - ru_RU.UTF-8.

Код


#!/usr/bin/perl

use strict;
use warnings;
#use diagnostics;
use utf8;
use open qw /:std :utf8/;
use DBI;

$\ = "\n";

my $db = DBI->connect ('DBI:Pg:dbname=mydb', 'postgres', undef, 
  {'RaiseError' => 0});
myexit {'message' => 'Connection error: ' . DBI->errstr, 'code' => -1}
  unless defined $db;
print "Connected";
my $srv_enc = $db->prepare ('SHOW server_encoding');
$srv_enc->execute;
$srv_enc = $srv_enc->fetchrow_arrayref;
print 'Server encoding: ', $srv_enc->[0];
print 'Setting client encoding to UTF-8';
$db->do ('set client_encoding = utf8');
$db->{'pg_enable_utf8'} = 1;
my $cln_enc = $db->prepare ('SHOW client_encoding');
$cln_enc->execute;
$cln_enc = $cln_enc->fetchrow_arrayref;
print 'Client encoding: ', $cln_enc->[0];
my $clients = $db->selectall_hashref ('select id, fio from clients where id = 111 order by 1',
  'id');
myexit {'message' => 'Query failed: ' . $db->errstr, 'code' => -2}
  unless defined $clients;
foreach my $id (keys %$clients) {
  print $id, ', ', $clients->{$id}{'fio'};
  print 'utf8 flag is ', utf8::is_utf8 ($clients->{$id}{'fio'}) 
    ? 'on' : 'off';
}
$db->disconnect;

sub myexit {
  my $arg = shift;
  
  print $arg->{'message'};
  exit $arg->{'code'};
}

Вывод скрипта

Код


Connected
Server encoding: WIN1251
Setting client encoding to UTF-8
Client encoding: utf8
111, Иванов Иван Иванович
utf8 flag is on

Так что если все сделано правильно, на выводе будет все красиво)

Автор: mastercz 28.1.2010, 09:52

krypt3r, я наверно неопределенно выразился ... вот пример, что я имел в виду .

Код


#!/usr/bin/perl
#++++++++++++++++++++++++++++++++++++++++++++++
#++++++++++++++++++++++++++++++++++++++++++++++

use strict;
use utf8;
use Encode;
use open qw /:std :utf8/;
#use encoding 'utf8';

use DBI;
use DBD::Pg;
use Devel::Peek;

    my $dbh = DBI->connect("dbi:Pg:dbname=insurance", "worker", "", { AutoCommit=>"0",RaiseError=>"0" });
    $dbh->{pg_enable_utf8} = 1;
    my $arg=$ARGV[0];

    my $select="select * from ppols";

    my $sth=$dbh->prepare($select);
       $sth->execute;

    while(my @tmp=$sth->fetchrow_array)
        {

                print "-->>".uc($tmp[1])."\n";
                print "-->>".Dump($tmp[1])."\n";
        }

    $sth->finish;

     $select="select  from ppols";
            $sth=$dbh->prepare($select);
            $sth->execute;

           if ($dbh->err)
                {
                        print "-->>".$dbh->errstr."\n";
                        print "-->>".Dump($dbh->errstr)."\n";
                }
        $sth->finish;

         $dbh->disconnect;


exit;

на выходе получаю в следующие

Код


# ./base_utf2.pl
-->>МУЖСКОЙ
SV = PV(0x8c8d200) at 0x8c7b880
  REFCNT = 1
  FLAGS = (POK,pPOK,UTF8)
  PV = 0x8beaec0 "\320\274\321\203\320\266\321\201\320\272\320\276\320\271"\0 [UTF8 "\x{43c}\x{443}\x{436}\x{441}\x{43a}\x{43e}\x{439}"]
  CUR = 14
  LEN = 16
-->>
-->>ЖЕНСКИЙ
SV = PV(0x8c8d1f0) at 0x8c7b840
  REFCNT = 1
  FLAGS = (POK,pPOK,UTF8)
  PV = 0x8beaea8 "\320\266\320\265\320\275\321\201\320\272\320\270\320\271"\0 [UTF8 "\x{436}\x{435}\x{43d}\x{441}\x{43a}\x{438}\x{439}"]
  CUR = 14
  LEN = 16
-->>
DBD::Pg::st execute failed: ERROR:  ошибка синтаксиса в или рядом "from"
LINE 1: select  from pols
                ^ at ./base_utf2.pl line 35.
-->>ERROR:  Ð¾Ñ�Ð¸Ð±ÐºÐ° Ñ�Ð¸Ð½Ñ�Ð°ÐºÑ�Ð¸Ñ�Ð° Ð² Ð¸Ð»Ð¸ Ñ�Ñ�Ð´Ð¾Ð¼ "from"
LINE 1: select  from pols
                ^
SV = PV(0x8c8d1a0) at 0x8c7ba00
  REFCNT = 1
  FLAGS = (TEMP,POK,pPOK)
  PV = 0x8cb61d8 "ERROR:  \320\276\321\210\320\270\320\261\320\272\320\260 \321\201\320\270\320\275\321\202\320\260\320\272\321\201\320\270\321\201\320\260 \320\262 \320\270\320\273\320\270 \321\200\321\217\320\264\320\276\320\274 \"from\"\nLINE 1: select  from pols\n                ^"\0
  CUR = 113
  LEN = 116
-->>

Т. е. ошибка пришедшая от DBI

Код

$dbh->errstr

почемуто не имеет флага UTF8.

Автор: krypt3r 28.1.2010, 14:58

Код


SET lc_messages = 'en_US.utf8';

поэкспериментируйте со значением.

Автор: mastercz 29.1.2010, 03:01

кажется нашел, проблема в модуле DBВ::Pg (2.8.7-1) от в сборке от debian lenny
поставил из CPAN текущую версию и ... о чудо ... проблема исчезла, вот только не хороше это когда не из коробки :(

krypt3r, еще раз спасибо за помощь.

P.S. Тему пока не закрываю. Закрою после окончательного тестинга скрипта, ежели ничего больше не всплывет.