誤差逆伝搬学習

出典　　麻生英樹：「多層ニューラルネットワークによる深層表現の学習」、人工知能学会誌、Vo.28,No.4,pp.649-659(2013).

■階層型ニューラルネットワーク

階層型ニューラルネットワークの出力yは、入力ベクトルxと結合の重みWによって、

y=g(x,W)  

と表される。

■教師あり学習

入力xとそれに対する正解出力tのペアの集合{xj,tj}j=1,2,...,Mを学習用データとして与えられたときに、ニューラルネットワークにxjを入力したときの出力がtjに近づくように、結合の重みWを修正する。

■誤差逆伝搬学習

代表的な教師あり学習である。Rumalhart(1986)は誤差逆伝搬学習により、いくつかの具体的な問題で学習がうまくいくことを示し、この手法に注目が集まるようになった。

ニューロンの出力関数を、微分可能なシグモイド関数f(x)=1/(1+exp(-x)) とする。

出力層での誤差評価R(W)への任意の結合重みwの寄与を、偏微分係数δR(W)/δwとして計算する。R(W)はtjとyjの誤差の二乗平均とする。Wは、出力層の誤差から入力側に遡って再帰的に計算される誤差を用いて修正していく。

2020年4月9日