next up previous
Next: BSOMモデル Up: ベイジアン自己組織化写像 Previous: ベイジアン自己組織化写像

はじめに

ニューラルネットの汎化力を向上させるために、 内部ユニット集団の活動に構造的な制約を与える 研究がいろいろとなされている。 このような研究に統計的手法を利用するためには、 学習アルゴリズムが推定アルゴリズムとして 導出されるような統計的モデルを構成する必要がある。 これによって、統計的な基準に基づく適合性評価やモデル選択の手法を開発していくことができる。 誤差逆伝播ネットワークについては、MacKay[1]の経験的ベイズ法による研究が有名である。

著者は、自己組織化写像(SOM)アルゴリズム[2]が 推定アルゴリズムとして導出されるような統計的モデルをベイジアン自己組織化写像(BSOM)モデル として構成し、MacKayのやり方と同様に、 経験的ベイズ法とガウス近似に基づくハイパーパラメータの評価基準(証拠)を求めた [3][4]。 しかし、厳密なガウス近似による証拠は、ハイパーパラメータの関数としては 複雑すぎて、その導関数を求めるのが難しい。 このため、ハイパーパラメータの最適値探索に導関数を利用することが出来ず、 非効率的な直接探索法に頼るしかなかった。 ここでは、証拠を更に近似することによって導関数の計算を容易にし、 これを使って効率的なハイパーパラメータ探索アルゴリズムを求める。



Utsugi Akio;(6730)
Thu Aug 8 18:07:48 JST 1996