|
JNNS'94 つくば(日本神経回路網学会) "ニューラルネットワークにおける Jeffreysの事前分布" |
|
ニューラルネットの学習を確率分布の推定としてとらることがしばしば行われている。
この場合ネットワークの結合などが確率分布のパラメータに 対応づけられ, 与えられたデータからパラメータ推定を行うことになる。 このパラメータ推定を Bayes 的に行う場合にはパラメータの事前分布の選択 が一つの問題となる。 この問題に対して, Bayes 統計学では真のパラメータの変化に対して尤度関数が 一様になることが望ましいという考え方にもとづいた Jeffreys' Priorを用いる ことが提案されている。 このベイズ統計にもとづく学習において Min-Max最適解を得るための Jeffreys' Prior を階層型ニューラルネットに応用するための数値的な解析を行ない、低い計算コスト でこれを近似的に得る方法を示した。特に非線形なモデルの歪んだ探索空間を一様に 変換し、安定した学習をさせるためのパラメータ変換を求めた。 |