| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Алгоритмы > как считается корреляции событий? |
| Автор: victor79 9.3.2014, 22:15 | ||||||
| пусть будет множество замеров - 1000 штук, из них в 700 разах возникало событие А, в 400 разах возникало событие Б. В 300 разах было одновременное возникновение А и Б. Исходя из этого, всего замеров где были А или Б:
всего замеров без А и без Б было:
Теперь к формуле корреляции, как я ее понял в приведении к этим данным. Я так понял, что значениями для параметров Х и У формулы корреляции здесь будут 1 или 0 - событие в замере есть или события нету.
И в этом я не все понимаю. В моем представлении, корреляция событий А и Б не должна зависить от объема всей выборки, а только от относительности друг с другом. По этой формуле для цифр: Всего = 1000, А=700, Б=700, ПересечАБ = 700 - результат единица - как нужно, а для случая: Всего = 1000, А=400, Б=400, ПересечАБ = 0 - результат -0.669, но мне казалось д.б. минус один - т.к. не пересекаемые события. Зачем мне это нужно. У меня есть база данных. Я хочу попробовать замерять зависимости свойств между собой у объектов - для поиска ошибок. Так же там есть текстовые поля, которые распарсивая буду пытаться выводить новые свойства. Данных много, и ручная обработка не представляется возможной. |
| Автор: Фантом 10.3.2014, 00:19 | ||
Нет. "Минус один" получился бы в ситуации, когда отсутствие одного из событий гарантировало бы наличие другого. А у Вас из 1000 замеров в 200 случаях это неверно, поэтому антикорреляция есть, но не абсолютная. |
| Автор: victor79 10.3.2014, 00:42 |
| Интуитивно я понимаю, что оставшиеся 200 портят картину. Я просто попытался привести свою ситуацию к формуле корреляции как я ее понял и вот что из нее получилось. Изначально я вообще обдумывал поделить пересечение возникновения на объединение, или пересечение на сумму количества А и Б. Т.е. ищу расчет некоего коэффициента, крайние значения которого есть то, на что нужно обратить внимание. Просто решил попробовать сделать по формулам, а не по своим придумкам. В интернете я не нашел "корреляции Хэмминга", есть растояние Хэмминга, которое есть количество различий, но это то не то. Может быть Вы подразумевали какую то другую корреляцию? |
| Автор: Mirkes 10.3.2014, 21:51 | ||||
| С литературой по корреляции Хемминга паршиво даже на английском Нормализованный коэффициент корреляции Хэмминга считается по простой формуле: (Число совпавших символов - Число не совпавших символов)/(общее число символов в строке). Меняется от -1 до 1. В формуле использовал слово "символ" поскольку расстояние Хэмминга и связанный с ним коэффициент корреляции исходно определялись для строк символов. В вашем случае формула примет вид: (Число одновременно произошедших событий А и В + Число одновременно произошедших событий не А и не В - Число одновременно произошедших событий А и не В - Число одновременно произошедших событий не А и В)/(Общее число событий)
имеем (700+300-0-0)/1000=1
имеем (200-400-400)/1000=-0.6, как и ожидалось! Еще раз подчеркну, что отсутствие события А означает наличие события не А! Для случайной величины Х в Вашем примере пространство исходов содержит два элемента А и не А. А вот если Вы рассмотрите пример Всего = 1000, А=500, Б=500, ПересечАБ = 0, то получите (0+0-500-500)/1000=-1 |