はじめに

3.2 節で述べたように，学習の目的は与えられた 訓練サンプルにフィットするだけではなく，サンプルを生成する真の確率分布 の構造を抽出することである． そのため，確率モデルの汎化能力に 関する研究がさまざまに行われているが， 一般に汎化バイアス (訓練サンプルに対する尤度と真の尤度との差) は，モ デルの複雑度 (具体的には可変なパラメータの数) とともに増えると考えられて いる． 本章では，正規混合モデルに対してこの傾向が破られる場合が あることを示す． ここで考えるのは統計物理モデルとして提案された Radial Basis Boltzmann Machine (RBBM) と 呼ばれる，あるクラスの正規混合分布である[45]． 一般の正規 混合分布では，要素分布の数を変化させることによっ てモデルの複雑度を変化させるが，RBBM では $\beta$ という連続パラメータ によって調節を行う． $\beta$ の値が小さいときには RBBM の最尤解は一つの正規分布に退化しているが， $\beta$ の値を次第に大きくしていくと，ある点で最尤解が相転移を起こして 複数の正規分布に分岐する． $\beta$ を更に大きくすると，分岐が再帰的に繰り返される． このように，$\beta$ は混合モデルの「有効な」成分数を制御し ているとみなせる． 本章では第一分岐点に着目して汎化バイアスを調べる．

本章の構成は以下の通りであり，そのうち オリジナルな結果は，4.3.2 以降である． まず，4.2 では RBBM を定義し，その分岐現象を説明する． 次に 4.3 で分岐の仕方に関する条件を明らかにする． その上で，4.4 では情報量規準 を用いた汎化バイアスに関する解析結果を示し，分岐が 2 方向あるいは 3 方向 のときは，見かけ のパラメータ数が増えるにも関わらずバイアスが減少することを示す． 分岐する 前の部分では経験尤度がほぼ一定値であることから，分岐後の最尤解は分岐す る直前よりも小さい誤差を達成できることを意味する． この結果は分岐点の近傍に関するものなので，厳密には正則条件等の考察が 必要である． 4.5 ではこれらの点について吟味する． また，4.6 では理論的に得られた結果を数値的に確かめる． 本章は，Akaho and Kappen[11,10] に報告されている 内容をより正確な形で詳しくまとめたものである．