next up previous
Next: デモプログラム Up: ベイジアン自己組織化写像 Previous: BSOMモデル

高速学習アルゴリズムの導出

上の証拠をで微分する際に困難なのはの微分である。 この行列は対数尤度と対数事前確率の負のヘッセ行列の和であるが、 特に、対数尤度のヘッセ行列の微分が困難である。 そこで, 対数尤度を, EMアルゴリズムで使われる欠損データの 事後確率による対数完全尤度の期待値で代用する。このようにして求められた 近似的な対数事後確率の負のヘッセ行列に対し、さらにに関して 期待値を取ることで、この行列は非常に簡単な形になる(詳しい導出は[7]を参照):

これを使った対数証拠をでそれぞれ微分し, 0と置いたものを変形して, の再帰的な修正ルールを得る。

ここで、

はパラメータの有効数,

は各成分分布の事後選択確率である。 このハイパーパラメータ修正ルールと中心パラメータのMAP推定アルゴリズムを交互に繰り返す事によって, すべてのパラメータの高速な推定が可能になる。



Utsugi Akio;(6730)
Thu Aug 8 18:07:48 JST 1996