VPF::Преобразование текстовых файлов в UTF-8

arcsupport

Дата 8.12.2010, 23:41 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 725
Регистрация: 24.10.2008

Репутация: нет
Всего: 2

Есть каталог. В нем МНОГО текстовых файлов. Они имеют различную кодировку, в т.ч. CP866, CP1251, Unicode (BE и LE), KOI-8.
Их надо всех:

Перекодировать в UTF8
Изменить символы окончания строки на unix-like.

Дайте команду и/или скрипт для этих целей.

Egik2

Дата 9.12.2010, 11:27 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 302
Регистрация: 29.7.2008
Где: Агудзера

Репутация: 4
Всего: 11

Все утро пытался решить твою проблему smile

.
К сожалению стандартными средствами не получается.
Под стандартными я понимаю команду iconv - для нее на входе уже должна быть задана кодировка из которой перекодировать.
делал это средствами file, но толком ничего не получилось.
Вот скрипт:

Код


#!/bin/bash

to="UTF-8";

for file in `find $1 -type f`
do
 from=`file -bi $file  | perl -e 'my $input = <>; $input =~ /charset=(.*)$/; print $1'`;
 echo "Converting $file from $from to $to"
 iconv -f $from -t $to $file > $file.$to;
done;

Проблема в том, что команда file -bi не всегда выводит правильную кодировку.

Вернулись к тому, с чего начали - используй утилиту enca
Скачать например здесь

По поводу символов окончания используй команду dos2unix - если надо из виндовой кодировки в unixовую

Это сообщение отредактировал(а) Egik2 - 9.12.2010, 11:30

--------------------

Три великие добродетели программиста: лень, нетерпение и самомнение (Larry Wall)
a-nav.com
developer-blog.ru
world-poetry.org

1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| *NIX системы: Общие вопросы \| Следующая тема »