Цитата(Pavia @ 14.11.2012, 20:16  ) |
| W4FhLF, Нужна не просто библиотека. А что-бы там была защита от дурака. (mrgloom, без обид) А тоже бывает задашь параметр 10 000, а прога рассчитана на 10. Конечно можно использовать жёсткий диск, но время расчёта может оказаться очень долгим. Нужно чтобы библиотека говорила столько памяти будет использовано и сколько времени будет считаться. |
У меня была однажды задача, где я считал SVD матрицы (dense matrix причём) размером 60000х60000. Считал в обычном matlab. Бывают такие задачи. Другой вопрос, требует ли задача mrgloom'a в действительности таких ресурсов. И прежде, чем бросаться в поиски каких-то экзотических библиотек нужно осмыслить алгоритм.
Для PCA считается ков. матрица, которая симметричная и positive semidefinite, соответственно SVD будет давать точно такой же результат, как и EVD. При том, что SVD сам по себе дороже, как в плане памяти, так и по-времени. Рассчёт ков. матрицы для EVD не требует загрузки в память данных целиком, можно использовать накопительный алгоритм. Поэтому я и спросил про размерность данных, т.к. если просто много реализаций, а размерность относительно небольшая, проблемы никакой нет и задача решается просто.
Если же размерность большая, тогда да, есть проблема. В таком случае, если требуются только доминантные компоненты (скажем первые 100-200), тогда надо смотреть в сторону iterative PCA (гугл в помощь), которые позволяют строить ортогональный базис в подпространстве Крылова без использования дорогих EVD. В целом iterative PCA всегда оправдан в случае необходимости использовать только доминантные компоненты.