Добрый день.
Столкнулась с вопросом корреляции.
Мне нужно провести анализ на основе выборки из БД.
Выборка состоит из порядка 40 столбцов и более 30 000 строк.
В каждой строке есть около 10 столбцов, которые точно заполнены. 
Остальные данные заполнены хаотично.
Получается так, что в каждой строчке больше половина столбцов пустые (некоторые пустые поля объясняются выбранными параметрами и по умолчанию должны быть такими, но только для определенных данных).

Корреляцию в жизни не делала... Открыла google  и наткнулась на следующее.
Чтобы провести корреляцию, нужно создать корреляционную матрицу всех переменных. В свою очередь корреляционная матрица строится со следующими условиями:



Вопрос. Возможно ли с такой выборкой провести корреляцию, которая покажет доверительные результаты.

Какой еще способ есть, чтобы выявить зависимость переменных?

В Excel есть большой набор статистических функций, которые, в том числе, умеют "не обращать внимания" на пустые ячейки... Плюс, по всем есть какая-никакая справка на русском (если русский Excel). Попробуйте посмотреть их.

да. этот пакет я установила.
однако вопрос в другом. можно ли будет верить проведенному анализу?
и каким методом статистики лучше воспользоваться в данном случае

Ну это, понятное дело, вопрос философский и к тематике форума отношения не имеет. Excel - это инструмент, и инструмент хороший. Ваш результат будет зависеть от вашего умения им пользоваться. Больше ничего толкового не скажу, так как статистику знаю очень плохо (предел моих знаний - построение линейной зависимости по наборам данных "аргумент" - "функция" и расчет всяких доверительных интервалов. И то, если залезть в умную книжку и освежить знания). 

Lapochka, на основе практического опыта стат.анализа хочу задать ряд дополнительных вопросов:
1) Действительно ли заказчику требуется КОРРЕЛЯЦИОННЫЙ анализ?
Допустим есть неограниченной количество n-факторов оказывающих влияние на результирущий M - показатель. В моей практике довольно часто руководство хочет определить функциональную зависимость M от n (M = f(n1;n2;n3...) ) для последующего оперативного планирования, называя ввиду своей необразованности это корреляционным анализом  .
Это регрессионный анализ, и для этих целей показатели статистической корреляции практически бесполезны (разве что для  проверки  НЕзависимости между исходными факторами и остатками модели)
Соответственно для этих целей тебе понадобятся другие функции Excel: ЛИНЕЙН и ЛГРФПРИБЛ  (в зависимости от аддитивного либо мультипликативного характера зависимости между твоими аналитиками базы данных) с обязательным выводом статистики по каждой из функций ( коэф.детерминации;стандартные квадр. отклонения, коэффициенты функции и прочие прелести), анализом статистических выбросов, отбором релевантных факторов ( это про твои пустые значения) и прочим.
Если же имелся ввиду действительно КОРРЕЛЯЦИОННЫЙ АНАЛИЗ -  то  вопрос 2 ( сейчас напишу)  

2) Почему требуется создание именно матрицы?
Матрица подразумевает отображение зависимости между всеми факторами-n, что требуется далеко не всегда.
Например данные матрицы строятся на основе объёмов продаж товарных номенклатур для определения сбалансированности ассортиментного портфеля предприятия.
В любом случае, матрица строится на основе расчёта парной корреляции всех возможных комбинаций факторов (сочетание на основе декартово произведения факторов)
quote=Lapochka, 24.9.2008,  16:21, post1649460]Выборка состоит из порядка 40 столбцов и более 30 000 строк.
В каждой строке есть около 10 столбцов, которые точно заполнены. [/quote]

Уточни, все ли измерения данной выборки тебе необходимы, или можно ограничиться только релевантными.
3) По поводу пустых значений в парах

С пустыми полями, как я понял,всё однозначно: либо есть значение отличное от нуля / либо нулевое / либо нет данных
Соответственно, дабы не искажать итоговую картину, нужно элиминировать только те записи в парах, в которых встречаются Н/Д (нет данных)
4) Функции Excel
Хотя ранговый коэффициент корреляции Спирмена и имеет некоторые недостатки, но в итоге  - достаточно объективен, иначе бы все от него давно отказались.
Пользуюсь в основном тоже им, хотя функцию КОРРЕЛ ( на основе ковариации) то же никто не отменял.
сейчас выложу пример реализации в Excel


Это сообщение отредактировал(а) FINANSIST - 25.9.2008, 12:41

Финансист, опишу чуть подробнее.

Есть столбцы: сделка, статус, заявка, контакт, вид (A), тип (B), программа ©, категория (D).
Эти столбцы - текстовые. но сейчас столбцам ABCD задан определенный символ, вернее код.
у вида есть несколько типов. программа и категория не зависят друг от друга.
уникальный идентификатор строки это сделка-заявка-контакт (не зависят друг от друга). по идее это просто id этих параметров в БД.
назовем эту связку СЗК.
для каждого СЗК обязательно указаны параметры ABCD.
далее есть набор других параметров.

задача:
1) выявить зависимости между параметрами и ABCD
2) выявить зависимости между всеми параметрами в выборке (есть параметры, которые точно друг от друга не зависят, однако было бы неплохо найти и возможные зависимости).

например. мне нужно определить, какие параметры влияют на ABCD по данным сделок-заявок.

Финансист, если можешь, подскажи какую-нибудь e-book.
Я этим раньше вообще не занималась и почти не представляю даже с чего начать       

а заказчик - это мой начальник )

Это сообщение отредактировал(а) Lapochka - 25.9.2008, 15:55

  Какие нафиг могут быть зависимости между факторами и кодами (текстами) ???!!!  
Может быть ты хотела сказать:
"1) выявить зависимости между параметрами И  ABCD"
???


Второй день вытаюсь дописать и выложить упрощённую модель - работы много все руки не доходят
Почти дописал - сегодня выложу


Это сообщение отредактировал(а) FINANSIST - 26.9.2008, 09:49

FINANSIST , т.е. если я задам текстовым полям кодовые значения...
например:
тип продукта 1 2 3 4
вид продукта 1 2 3
категория 1 2 3
и т.д.


то проведенная корреляция работать не будет?????????   
плохо!!! у меня в выборке около 7 полей текстовых! их только на код можно заменить.
я в выборку добавила еще статус сделки.
нужно определить как изменяется этот статус в зависимости от изменения каких-либо параметров.

что-то я запуталась   

Смотри, есть измерения, между которыми нужно найти зависимости.
У каждого измерения есть набор параметров.
Каждый параметр за что либо отвечает, но корреляционному анализу абсолютно пофиг - какой параметр за что отвечает! Он лишь оценивает тесноту связи между n-ным параметром X-Измерения и n-ным параметром Y-Измерения. И делает это агрегированно по всем парам.
Выкладываю неполный пример, т.к. пользовательскую функцию для 
корреляционной матрицы на основе рангового коэффициента Спирмена, пропускающей пустоты в парах ещё не дописал. Называется "=PustoySpirmen()". Времени у меня нет, если горит - допиши сама.
Главное , пойми по формулам концепцию.

Присоединённый файл ( Кол-во скачиваний: 3 )
 123.rar 16,19 Kb

спасибо. сейчас посмотрю.

Добавлено через 4 минуты и 4 секунды
FINANSIST , немного запуталась.
а если использовать в пакете анализа "корреляция"? тогда какой результат мы получим?

Абсолютно такой же, что и в КОРРЕЛЛ

Это сообщение отредактировал(а) FINANSIST - 29.9.2008, 11:33