| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Алгоритмы > Восстановление пропусков в статистических данных |
| Автор: Аndreich 7.9.2009, 08:53 |
| Всем доброго времени суток. В кратце обрисую проблему: имеется некоторая матрица реакции объектов (пусть она будет дихотомической - 0/1). В данной матрице имеются пропуски, которые не позволяют провести статистический анализ, поэтому требуется восстановить данные. Как вариант, планируется использовать метод максимального правдоподобия, но нигде не могу найти адекватного описания алгоритма. Если вдруг у кого-то есть вариант решения подобной задачи, буду крайне признателен. Приветствуются любые коментарии по сути вопроса. |
| Автор: W4FhLF 8.9.2009, 06:49 |
| А как вы себе представляете восстановление данных с помощью метода максимального правдоподобия? Просто определять вероятность принадежности к классу 0 или 1? Мне кажется здесь просто надо провести интерполяцию. Двумерный сплайн или kriging подойдут. |
| Автор: Pavia 8.9.2009, 14:32 | ||
Не надо путать причину и следствия. Как раз таки пропуски не мешают для статистического анализа. А вот после анализа уже и делают заполнение используя результаты анализа. |
| Автор: VictorTsaregorodtsev 8.9.2009, 16:28 |
| Аndreich, Вам правильно сказали, что проблемы со статанализом нет. Статхарактеристики индивидуальных переменных меряются обычным способом (если, конечно, принять гипотезу, что пропуски в данных расположены случайно, а не тенденциозно). Методы восстановления зависимостей тоже с дырявой таблицей работать могут. Визуализация данных - тоже. В общем, точно скажите, какое действие или какую задачу Вам не позволит решить простое нажимание кнопки/кнопок в каком-нибудь статистическом пакете (т.е. назовите момент, когда статпакет Вам явно скажет, что с дырявой таблицей он какое-то действие выполнить не сможет). W4FhLF, Вариантов алгоритмов дырозатыкания/интерполяции будет куча - например, известный алгоритм ZET заполнения пропусков в данных (от Н.Г.Загоруйко сотоварищи). |
| Автор: Аndreich 8.9.2009, 22:24 |
| Не стоит задача работы в каком-либо стороннем стат-пакете, требуется именно изучить и проанализировать возможность восстановления неполных данных при помощи метода максимального правдоподобия. В http://www.v-itc.ru/electrotech/2009/02/pdf/2009-02-14.pdf документе мне попалась следующая фраза: "Восстановление пропущенных данных может быть основано на оценках максимального правдоподобия [6], использовании нейронных сетей [7], алгоритмов ZET [8] и других эффективных процедур. Строго формализованные процедуры заполнения пропусков основаны на использовании метода максимального правдоподобия (МП)." Этот самый пункт [6]: Литтл Р. Дж. А. Статистический анализ данных с пропусками / Р. Дж. А. Литтл, Д.Б. Рубин. – М. : Финансы и статистика, 1990. – 336 с. Нигде не могу найти эту книжку, чтобы изучить проблему более подробно. |
| Автор: Pavia 9.9.2009, 00:37 | ||||
Предлога начать с первого пункта.
Собственно проверить независимость случайных величин или в противном сучили возможность приведения к независимому виду. |
