next up previous
次へ: 実験 上へ: 正規混合分布の汎化バイアスの非単調性について 戻る: 分岐点より温度が低い場合


特異性に関する考察

前節で得られた結果は,特異点である分岐点の近傍における結果なので TIC の 理論で仮定されている正則条件に関してのいくつかの問題点がある. そこで,本節ではそれらについて考察を行う.

TIC では,経験的な最尤推定量が局所的に正規分布をなすことを仮定している. しかしながら,分岐点の近傍ではこれが満たされないことがある. すなわち,訓練サンプルのゆらぎによって,(経験的な)分岐点は変動し, これによって経験的な最尤推定量がなめらかでない変形を受ける. 例えば,真の分布に対する分岐点より $\beta$ が小さい場合を考えよう. このとき,真の分布に対しては 1 個の正規分布モデルが当てはまるが, 訓練サンプルのゆらぎによって,その $\beta$ が経験的な分岐点 $\beta _c$ よりも大きくなることがある. すると,この場合は 2 個の正規分布モデルが 当てはまってしまう. また,その逆に,真の分布が 2 個の正規分布モデルとなる $\beta$ に対し, 訓練サンプルによっては 1 個の正規分布モデルが当てはまる場合がある.

このようなことが起きるのは分岐点のゆらぎのオーダーの幅の範囲内であり, $O(1/\sqrt{N})$ である. 前節で得られた結果が理論的に適用可能なのは 真の分岐点に対して $O(1/\sqrt{N})$ を除いた外側ということになる. この幅はサンプル数が増加すれば減少していく.

分岐点のゆらぎのオーダーの範囲内でバイアスがどうなっているかは, 厳密には明らかではないが, 近年行われている特異点に関する統計的な解析手法が応用できる 可能性はある[36,29,34,90]. 本論文では,次節の計算機シミュレーションを用いた実験によって調べ, 定性的には分岐点の極近傍でも理論的な結果が成り立つことを示す.



Shotaro Akaho 平成15年7月22日