В том-то и дело. Предполагается лишь то, что в тексте есть кириллица, а что там может быть еще, кроме кириллицы, и в каком количестве?

Кстати, вот тут мне кажется как раз уместно смотреть по таблице частотных вхождений. Ведь исключать вариант, что в файле есть пару абзацев кириллицы, а все остальное кракозябры(причем с теми байтами, которые как раз могут выдать вероятность совсем иной кодировки, чем есть на самом деле) исключать нельзя. 

Или я в чем-то ошибаюсь??

ну это было бы слишком... к такому привязываться нельзя

Добавлено через 2 минуты и 24 секунды

В случае такого противоречия надо на мой взгляд отображать в кодировке начала документа, ведь когда человек откроет его, он увидит именно начало 

Если символы не подходят, а слова слишком круто - можно брать слоги. Хотя прежде, чем усложнять задачу, необходимо проверить эффективность самого простого решения, может его вполне достаточно будет. 

нормальное распределение определено на действительных числах (если рассматривать одномерный вариант), так что перед тем, как вообще применить понятие нормального распределения к буквам, их нужно перенумеровать
и здесь возникает первая проблема: какой порядок выбрать
ведь выбирая различные порядки можно сделать и один всплеск в середине, и два по краям
и выбрав какой-то один порядок, нужно представлять, чем он лучше других

вторая проблема в том, что даже сопоставив каждому символу номер, непонятно, что делать с остальными числами на действительной оси - к каким символам их отнести?

это относилось к вопросу "как?"

третья проблема - "почему?"
далеко не в любом случае распределение стремится к нормальному
в каких-то случаях более естественным оказывается экспоненциальное, в других равномерное

большинство случаев, когда распределение стремится к нормальному, основываются на том, что у нас есть сумма большого количества случайных величин
но как бы мы не нумеровали символы, нас не интересует распределение суммы их индексов, так что здесь нет оснований применять всякие законы больших чисел и т.п.

Это сообщение отредактировал(а) maxim1000 - 17.7.2008, 12:53

если сказали о возможности использования таблицы частотных распределений букв значит файл большой, а раз может быть только три кодовых таблицы (если правильно понял) -- значит кракозябры мало
может так: находим пару самых встречаемых символов, проверяем не коды ли utf это, например первых шести букв таблицы, если да -- кодировка определена, если нет -- находим еще пару-тройку самых встречаемых из файла, и смотрим, в диапазон каких оставшихся кодировок входят найденные нами пять-шесть символов

Добавлено через 7 минут и 23 секунды
еще один вариант: сортируем символы в файле по убыванию, потом переводим их в кириллицу использую, по очереди, кодовые таблицы, а потом сравниваем с таблицой частотных вхождений (нам же ее дадут, или самим составлять?), получится три сравнения, выбираем тот, где разброс букв меньше (позиции в таблицах более близкие)

p.s. на перле писать не умею, поэтому насколько предложенные варианты реализуемые судить не могу

под крякозяброй имелось ввиду, не только "крякозябра" а весь набор символов не относящийся к буквам(или цифрам) 

ну если так, то все на много проще: самый встречаемый символ -- это пробел, не помню на сколько но в разы превышает буквы. отсель следует: находим самый встречаемый символ (это будет пробел) и смотрим к какой из трех кодировк он относится
а касательно кракозябры: если это не текст какой-нибудь лекции/доклада/статьи по физике/математики/химии, то закодированых цифр и мат-символов (плюсы, дроби и т.д.) там будет мало, на статистику не сильно повлияют
назрел вопрос: какое требование к универсальности алгоритма?

У пробела в ASCII один и тот же код независимо от кодировки.

Bulat, ещё раз, ты высасываешь проблему из пальца. Возьми реализуй и протестируй. 

Как только на работе появится немного свободного времени, продолжу ;)



Лучше сначала обговорить все возможные варианты, просмотреть и подумать, составить хоть какой-нить план работы, а не кидаться сразу к написанию кода, что частенько приводит к переписыванию оного несколько раз 

maxim1000, спасибо за пояснения, действительно что-то перепутал я, но вот не пойму откуда у меня засела мысль с нормальным распределением для русского текста.   

Четкого требования нет. Я выкладывал отрывки из формулировки задачи.



Опять же, мы не знаем, что у нас за текст. Каких-то четких условий нет. Наткнулся вот на задачу - появилось желание попробовать реализовать 



Делаю немного по иному. Просто первожу символы в 16-е значения, и для каждой кодировки подсчитываю количество вхождений только тех, что соотв. алфавиту данной кодировки. Таким образом у меня есть данные сразу для трех кодировок.(Попути уже вычисляю "свои частоты").

Теоретичски, уже сейчас достаточно(т.е. если предположить, что в текст, скажем так литературный), можно сложить для каждой кодировки соотношения, и та что ближе к 1, и будет верной кодировкой. Но все же, я думаю надо еще прописать чего-нить для разброса букв. Т.е. сравнить мои частоты с табличными.