Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Восстановление пропусков в статистических данных 
:(
    Опции темы
Аndreich
  Дата 7.9.2009, 08:53 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 2
Регистрация: 18.8.2009

Репутация: нет
Всего: нет



Всем доброго времени суток. В кратце обрисую проблему: имеется некоторая матрица реакции объектов (пусть она будет дихотомической - 0/1). В данной матрице имеются пропуски, которые не позволяют провести статистический анализ, поэтому требуется восстановить данные. Как вариант, планируется использовать метод максимального правдоподобия, но нигде не могу найти адекватного описания алгоритма. Если вдруг у кого-то есть вариант решения подобной задачи, буду крайне признателен. Приветствуются любые коментарии по сути вопроса.


PM MAIL   Вверх
W4FhLF
Дата 8.9.2009, 06:49 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


found myself
****


Профиль
Группа: Участник Клуба
Сообщений: 2831
Регистрация: 2.12.2006

Репутация: 5
Всего: 121



А как вы себе представляете восстановление данных с помощью метода максимального правдоподобия? Просто определять вероятность принадежности к классу 0 или 1? 

Мне кажется здесь просто надо провести интерполяцию. Двумерный сплайн или kriging подойдут. 


--------------------
"Бог умер" © Ницше
"Ницше умер" © Бог
PM ICQ   Вверх
Pavia
Дата 8.9.2009, 14:32 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 418
Регистрация: 6.12.2008

Репутация: 11
Всего: 12



Цитата(Аndreich @  7.9.2009,  08:53 Найти цитируемый пост)
матрице имеются пропуски, которые не позволяют провести статистический анализ,

Не надо путать причину и следствия. Как раз таки пропуски не мешают для статистического анализа. А вот после анализа уже и делают заполнение используя результаты анализа.

Это сообщение отредактировал(а) Pavia - 8.9.2009, 14:41
PM MAIL   Вверх
VictorTsaregorodtsev
Дата 8.9.2009, 16:28 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 274
Регистрация: 28.7.2006

Репутация: 3
Всего: 8



Аndreich, Вам правильно сказали, что проблемы со статанализом нет. Статхарактеристики индивидуальных переменных меряются обычным способом (если, конечно, принять гипотезу, что пропуски в данных расположены случайно, а не тенденциозно). Методы восстановления зависимостей тоже с дырявой таблицей работать могут. Визуализация данных - тоже. В общем, точно скажите, какое действие или какую задачу Вам не позволит решить простое нажимание кнопки/кнопок в каком-нибудь статистическом пакете (т.е. назовите момент, когда статпакет Вам явно скажет, что с дырявой таблицей он какое-то действие выполнить не сможет).

W4FhLF, Вариантов алгоритмов дырозатыкания/интерполяции будет куча - например, известный алгоритм ZET заполнения пропусков в данных (от Н.Г.Загоруйко сотоварищи).
PM MAIL WWW   Вверх
Аndreich
Дата 8.9.2009, 22:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 2
Регистрация: 18.8.2009

Репутация: нет
Всего: нет



Не стоит задача работы в каком-либо стороннем стат-пакете, требуется именно изучить и проанализировать возможность восстановления неполных данных при помощи метода максимального правдоподобия. В данном документе мне попалась следующая фраза: "Восстановление пропущенных данных может быть основано на оценках максимального правдоподобия [6], использовании нейронных сетей [7], алгоритмов ZET [8] и других эффективных процедур. Строго формализованные процедуры заполнения пропусков основаны на использовании метода максимального правдоподобия (МП)."

Этот самый пункт [6]: Литтл Р. Дж. А. Статистический анализ данных с пропусками / Р. Дж. А. Литтл, Д.Б. Рубин. – М. : Финансы и статистика, 1990. – 336 с.

Нигде не могу найти эту книжку, чтобы изучить проблему более подробно.

Это сообщение отредактировал(а) Аndreich - 8.9.2009, 22:25
PM MAIL   Вверх
Pavia
Дата 9.9.2009, 00:37 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 418
Регистрация: 6.12.2008

Репутация: 11
Всего: 12



Цитата(Аndreich @  8.9.2009,  22:24 Найти цитируемый пост)
именно изучить и проанализировать возможность восстановления неполных данных при помощи метода максимального правдоподобия. 

Предлога начать с первого пункта.

Цитата
что результаты наблюдений X1, ..., Xn являются взаимно независимыми случайными величинами 

Собственно проверить независимость случайных величин  или в противном сучили возможность приведения к независимому виду.  
PM MAIL   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Алгоритмы"

maxim1000

Форум "Алгоритмы" предназначен для обсуждения вопросов, связанных только с алгоритмами и структурами данных, без привязки к конкретному языку программирования и/или программному продукту.


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, maxim1000.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Алгоритмы | Следующая тема »


 




[ Время генерации скрипта: 0.0755 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.