Цель - получить все английские и русские слова из текста (т.е. как минимум убрать разные знаки препинания). 

Есть ф-я: 



Причем она почти идеально работает, вот только проблеммы с буквой "ч" у нее - эта буква банально не считается за букву (видно по результатам работы скрипта). 

text = "чукча чукчу. Чичибечит? - давай-давай one two 12" 

Результат работы only_words (text) следующий: 

ук
а
ук
у
и
ибе
ит
давай
давай
one
two
12 

В чем может быть проблема с этой буквой?

А так?

О, уже близко.

Так получаю ошибку




Когда делаю так:



То уже буква Ч появляется, но потом вся работа скрипта рушится (эта ф-я возвращает результат не в той кодировке, на которую расчитана остальная часть)

Подскажите пожалуйста что нужно сделать, чтобы вернуть изменить кодировку в найденых словах на ту что была изначально?

Добавлено @ 17:55 
сделал так:



Заработало как надо 
Огромное спасибо J2A за помощь.

Угу, в верном направлении. Просто re.UNICODE означает, что обрабатываемый текст должен быть в уникоде. Если во всей остальной программе текст 8-битный, то нужно перекодировать. Однако все же лучше внутри программы использовать уникод, а перекодировки делать только на входе/выходе. Ну и маленький tip:

и выглядит более компактно, и работает быстрей.

А еще лучше, если перекодить при вводе/выводе, а всю программу строить на юникоде. Во первых идеологически правильно, во вторых никаких проблем с различными функциями.

То же самое сказал.

Еще раз спасибо всем за полезные советы - глядишь, так я и научу свой питон с кирилицей дружить 

А вот и не тоже. Ты предложил  на входе/выходе из подпрограммы, а я предложил при считывании/записи и во всей программе использовать юникод.

Это сообщение отредактировал(а) albertn - 22.11.2006, 09:37

Вот упертый. Читай внимательней. Покажи слово "подпрограмма" и поясни не являются ли "вход/выход" и "ввода/вывод" синонимами?

Это сообщение отредактировал(а) J2A - 22.11.2006, 11:51

Эти слова совершенно не являются синонимами.
Что есть вход/выход? Когда что-то куда-то входит или откуда-то выходит. Я понимаю это понятие именно так:
Есть определенный независимый участок кода (подпрограмма). При запуске этой подпрограммы передаются определенные параметры (входные данные). Подпрограмма их обрабатывает, и возвращает результат (выходные данные).
И на мой взгляд фраза перекодировки делать только на входе/выходе означает то-же самое что и перекодировать только входные/выходные данные]. А входные/выходные данные относятся как раз к выполнению подпрограмм.
Я же говорю про ввод/вывод, а именно ввод с клавиатуры, чтение файла, получение информации со стороннего источника, вывод на экран, запись в файл, передача параметров сторонним программам, и т.д. А во всей программе операции должны производиться с юникодом

Пусть так. Хорошь толочь воду в ступе.

Да ичего личного, просто я и с этим уже ничего не поделаешь