冗長性と特異性

混合分布をはじめ多層のニュ−ラルネットワークモデルやベイジアンネットワー クといった階層的モデルでは，パラメータの冗長性などに起因する特異性が最 尤推定に問題を生じる可能性があることが知られている [23,36,29,34,90]．

正規混合分布などの混合分布では，冗長性は次の 3 つの場合に現われる．

1. クラスラベルについて対称な形をしているので，番号を入れ換えても分 布は変化しない． ただし，この性質は局所的にはそれほど問題にはならな い．
2. 全く同じパラメータをもつ要素分布 $f_k(x)$ と $f_l(x)$ があったと きには $p_k + p_l$ が一定のもとで，$p_k$, $p_l$ をどう動かしても分布 は変化しない．
3. $p_k=0$ の場合には，要素分布のパラメータは何であっても分布は変化 しない．

これらの場合(特に 2 と 3 )には Fisher 情報行列が 退化するという特異性により，最尤推定の漸近有効性が成り立たない．

更に，正規混合分布で，ある特定のサンプルに平均をおき，分散を 0 にす る要素分布があると，尤度が無限大になる． これは明らかに無意味な解である が，最尤解を求める際にはこういった解に収束しないように注意する必要があ る．

第 4 章で考えるモデルではこれらの特異性はできるだけ排除 したモデルを考えるが，それでも残る特異性によって通常のモデルとは異なる 振舞いが見られる．