Здравствуйте.
Задался вопросом, какую архитектуру и подход использовать для обработки данных большой размерности. Вопрос не совсем подрозумевает конкретных данных, но можно рассмотреть 
1. Разреженные данные -- Задача кластеризации текстов. На вход подается статистика текста, которому поставлен в соответсвие слово-тег. 
Данные: разреженный вектор большой размерности ~100000 
2. Данные с малой долей информации. -- Изображения. К примеру у нас есть одномерный вектор изображения или вектор признаков повышенной размерности, к примеру, преобразование Габора или любого другого банка фильтров (двумерную структуру изображения уже учли, т.е. не рассматриваем как пока сверточные модели НС).
Можно ли такие задачи решать в лоб? в литературе пишут что обратное распространение неэффективно в данных случаях. 
Или использовать методы сокращения размерности такие как: SOM, машины больцмана, k-nearest?

1. Restricted Boltzman machines или Deep belief nets для сжатия размерности, далее обычный кластерный анализ в этом пространстве меньшей размерности. Т.к. выполняется нелинейное проецирование данных - то результат должен быть лучше, чем при сжатии размерности с помощью линейного метода главных компонент. 
Смотреть, в первую очередь, работы Джеффри Хинтона как первопроходца. В статье Hinton G., Salakhutdinov R. Reducing the dimensionality of data with neural networks / Science, 2006. Vol.313. - pp.504-507 как раз и есть пример сравнения точности кластеризаций текстов в двух пространствах, полученных по результатам нейросетевого и статистического сжатий исходных данных (правда, не помню, был ли там метод главных компонент или latent semantic analysis на стороне статистики). Да и размерность исходных данных в этой статье была не 100000, а несколько тысяч, вроде бы.

2. Тоже можно сократить размерность или хотя-бы посмотреть, какова избыточность данных. 
В общем, пока что с вопросами о лобовом подходе, нужности-ненужности сжатия, эффективности-неэффективности обратного распространения скорее к нострадамусам надо обращаться - конкретной и полезной информации о задаче просто недостаточно для возможности выдачи рекомендаций.

Спасибо, интересная статья. Попробую поэксперементировать с кластеризацией текста на основе машин Больцмана.
PS: терменологический вопрос: как перевести Deep belief nets -- доверительные автоассоциаотивные сети

Это сообщение отредактировал(а) dereyly - 2.2.2011, 19:56