$\kappa _4=0$ の場合

真の分布は標準正規分布とした．

$$q(x) = {1\over\sqrt{2\pi}}\exp(-{x^2\over2}).$$ (4.10)

この場合，定理 3 で述べた理由により，EM アルゴリズムの収 束は前の節の場合よりも非常に不安定になる． 最尤解の一例を温度の関数と して示したのが図4.8 である． 理論的にはこの場合は要素分布が $K$ 個に分かれるはずであるが， その性質は訓練サンプルの 4 次のキュムラントに依存しており， 4 次のキュムラントが 0 から外れることが多いため 実際には 2-way または 3-way の分岐を示す． 経験尤度とバイアスの振舞いをそれぞれ図4.9，図4.10 に 示す． キュムラントのゆらぎによって 2-way または 3-way に分岐しても， バイアスに関しては分岐点以降で減少するような場合は ほとんど観察されず，4 次キュムラントが 0 に近い場合には 定理 6 の仮定が満たされにくい不安定な状態にある可能性がある．

図 4.8: $\kappa _4=0$ のときの最尤解． 横軸: $\log(\beta)$; 縦軸: $w$ および $x$. 点は各温度での最尤解右端の `$-$' が学習サンプルをあ らわす

図 4.9: $\kappa _4=0$ のときの経験尤度． 横軸: $\log(\beta)$; 縦軸: 経験尤度; 破線 : $\beta _c$ の経験値

図 4.10: $\kappa _4=0$ のときのバイアスの推定値の振舞い 横軸: $\log(\beta)$; 縦軸: バイアスと訓練サンプルの数の積; 破線 : $\beta _c$ の経験値