Недавно работаю в Perl.
Возникла проблема, не знаю, как подступиться.

С помощью Perl обрабатываю строку вида "=?koi8-r?B?7sHLzMHEzsHRIzU2mjc3NV/u5evz9Ozh6u4ueGxz?=" она находится в $arrayt[$xx].



В результате в  $encoded_attname получаем строку следующего вида: "Накладная#56 775_НЕКСТЛАЙН.xls"

А теперь мне необходимо избавится в строке от всех символов кроме букв, цифр, знаков препинания и пробела и я пишу регулярное выражение:


В результате, почемуто получаем строку такого вида: "Накладная#56�775_НЕКСТЛАЙН.xls".

То есть по какой-то неведомой мне причине появляется некорректно отображаемый символ. Природу которого я не могу понять. Из-за него не получается ни корректно передать строку, не склеить ее с другой подстрокой. 
И собственно 2 вопроса: почему так происходит? Кто нибудь сталкивался с таким?
И второй подвопрос: почему в регулярном выражении не работают корректно [А-Яа-я] Когда я попытался употребить их в таком виде получалась вообще какая-то каша. Половину букв удалялась, половина оставалась.

Если это важно в программе использую 
use bytes;

Заранее спасибо.

# perl -MData::Dumper -MMIME::Words=:all -le 'print Dumper decode_mimewords ($ARGV[0])' "=?koi8-r?B?7sHLzMHEzsHRIzU2mjc3NV/u5evz9Ozh6u4ueGxz?="
$VAR1 = [
          'Накладная#56 775_НЕКСТЛАЙН.xls',
          'koi8-r'
        ];
#

А можно поподробнее?
Я не вижу, где здесь происходит удаление всех символов, кроме букв, цифр, знаков препинания и пробела. 

perldoc MIME::Words

Спасибо. Использовал. Все получилось. Но проблема не исчезла. 
Пример.
Строка  ($sp) - "По документу Снятие заказа № 10 146 от 07.06.2010 19:35:19 сняты следующие  позиции....  ". Явным видом в utf-8.



Если вставить строку в WORD видно, что между 10 и 146 есть неразравный пробел. При попытке вот такого кода:

Строка перестает восприниматься корректно. Не конкатенируется, не выводится на экран.
Очень нужна помощь.


Более общий вопрос. Мне нужно строку (в ютф-8), корректно очистить от всех символов кроме букв (латинских русских, цифр, пробела и знаков . , ; : ( ) * & ^ % $ # @ ! + = _ - ? №

Это сообщение отредактировал(а) antananarivu - 28.6.2010, 12:25

для utf8 смотреть классы символов.
perldoc perlunicode etc.

Я понимаю, что напрашиваюсь на грубость. Но в том то и дело что с английским у меня очень плохо. читал. много непонятных вещей. жаль тратить неделю а то  больше на все тонкости, поэтому и обращаюсь к спецам. ведь в общем-то нужна всего 1 конкретная задача.
строку текста в ютэфной кодировке избавить от всех символов, кроме приведенных выше. 1 строка кода. 
заранее спасибо.

дайте закодированную строку.

Строка($sp) - "=?utf-8?B?0J/QviDQtNC+0LrRg9C80LXQvdGC0YMg0KHQvdGP0YLQuNC1INC30LA=?=
    =?utf-8?B?0LrQsNC30LAg4oSWIDEwwqAxMjUg0L7RgiAwNy4wNi4yMDEwIDE3OjEyOjIwINGB?=
    =?utf-8?B?0L3Rj9GC0Ysg0YHQu9C10LTRg9GO0YnQuNC1ICDQv9C+0LfQuNGG0LjQuC4uLi4=?=
    =?utf-8?B?ICA=?=
"

После 



Получаем строку: 

"По документу Снятие заказа № 10 125 от 07.06.2010 17:12:20 сняты следующие  позиции....  
"

Во избежании нахождения в строке всяких управляющих символов, возврата каретки, конца строки и т.д. пытаюсь сделать отчистку строки от всех символов не нужных мне:



После чего $sp не конкатенируется, на экран не выводится. То есть продолжать корректно работать со строкой становится невозможно!
Если же вывести строку в файл то между "№ 10"  и "125" видны некий нечитаемый символ (квадратик). Если же строку "По документу Снятие заказа № 10 125 от 07.06.2010 17:12:20 сняты следующие  позиции.... " скопипастить в Word то на этом самом месте мы увидим символ неразравного пробела. Не знаю важно это или нет, говорю как понимаю ситуацию. 

Ну и собствено вопрос, почему регулярное выражение некорректно работает. 

Это сообщение отредактировал(а) antananarivu - 28.6.2010, 17:41

antananarivu, возможно, проблема в use bytes. Попробуйте use Devel::Peek; и Dump($sp) до и после удаления лишних символов. Кстати, попробуйте еще 

use bytes уберите, в ней проблема. И добавьте use utf8

[^ \p{S}\p{L}\p{N}\p{P}]+ ?

делал 
no bytes - тогда убивает и русские буквы тоже. 
use utf-8 или use Devel::Peek - кривой символ остается, строка не выводится на экран. 



тот же результат - некий кривой символ остается. 

Это сообщение отредактировал(а) antananarivu - 29.6.2010, 11:37

Может быть я вообще не верно формулирую проблему. 
после того как я отчистил переменную $sp
я делаю следующее:


если я не отчищаю переменную $sp все корректно отрабатывает - если отчищаю строка $tt2 не выводится на печать и insert не срабатывает.



Это сообщение отредактировал(а) antananarivu - 29.6.2010, 11:48

А русские символы в регулярном выражении в скрипте у Вас в какой кодировке?


Что выводит Dump($sp)?