Версия для печати темы Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Алгоритмы > С какой целью вводится коэффициент смещения

Автор: Royan 17.11.2005, 02:59

Если взять классическое представление нейронной сети, то в некоторых случаях в дополнение к весам связей между нейронами вводится дополнительный вес - смещение (bias). С какой целью это делается?

Автор: podval 17.11.2005, 12:56

Бывает достаточно спросить у Гугля Цитата What Is Bias In Artificial Multilayer Feed Forward Neural Network? Bias is a numeric value... http://www.kdkeys.net/forums/3293/ShowPost.aspx Более подробно в теории: Цитата Neural Network Tuning and Overfitting Avoidance 1. The Bias/Variance Dilemma One of the most serious problems that arises in connectionist learning by neural networks is overfitting of the provided training examples. This means that the learned function fits very closely the training data however it does not generalise well, that is it can not model sufficiently well unseen data from the same task. Since the ultimate goal behind machine learning is attaining generalisation such overfitting problems should be detected and addressed carefully. Criteria for avoiding overfitting with the training data and increasing the generalization are given by the statistical and generalisation theories. 1.1. Definitions These criteria are employed to balance the statistical bias and statistical variance when doing neural network learning in order to achieve smallest average generalization error (on unseen data from the same task). Statistical bias is the complexity restriction that the neural network architecture imposes on the degree of fitting accurately the target function. The statistical bias accounts only for the degree of fitting the given training data, but not for the level of generalization. Statistical variance is the deviation of the neural network learning efficacy from one data sample to another sample that could be described by the same target function model. This is the statistical variance that accounts for the generalisation of whether or not the neural network fits the examples without regard to the specificities of the provided data... http://homepages.gold.ac.uk/nikolaev/311over.htm

Автор: DENNN 17.11.2005, 13:02

Возможно чтоб уменьшить вляние "последующих" слоев на "предыдущие" в сетях с моделью обратного распространения?

Автор: Royan 17.11.2005, 22:20

Объяснение DENNN'a мне нравиться больше ибо я хотел услышать человеческое объяснение того, зачем нужно смещение . Все дело в том, что я уже имел удовольствие читать статьи на подобии приведенной г-ном podval'ом и мне показалось, что авторы подобных источников смело могли бы тягаться с греческими философами. Цитата Statistical bias is the complexity restriction that the neural network architecture imposes on the degree of fitting accurately the target function. The statistical bias accounts only for the degree of fitting the given training data, but not for the level of generalization. Дословно звучит так – "Статистическое смещение есть ограничение сложности, которое согласно архитектуре нейронной сети накладывается на степень приближения к целевой функции. Статистическое смещение рассматривается только в контексте подобия обучающей выборке, но не уровня обобщения". Нормальному еврею это не понять, что говорить про меня. В любом случае спасибо за ответ, общую суть я вроде уловил. Кстати коvу интересен данный вопрос, а также симпатичен язык изложения сродни тому, что был упомянут выше могут взглянуть на эту статью: Why use a bias/threshold? ftp://ftp.sas.com/pub/neural/FAQ2.html#A_bias

Автор: Guest 18.11.2005, 13:44

Господин podval дал текст абсолютно не по теме - в английском языке омонимы (слова, пишущиеся одинаково, но означающие разное) тоже бывают, это именно тот случай. Смещения у нейронов сети - это просто адаптивные константы с целью получения приближения нулевого порядка (константой), если остальное оказывается лишним (линейное приближение вида w*x, полиномиальные члены более высоких степеней - если проводить аналогии с аппроксимацией полиномами). Ну или можно придумать нейробиологический смысл: bias показывает, какой величины должно быть пришедшее на нейрон суммарное возбуждение (естественно, суммарное с учетом весов синапсов - т.е. результат, получаемый после сумматора нейрона), чтобы нейрон "возбудился" и активировался.

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)