本章のまとめ

正規混合分布の特殊なクラスである Radial Basis Boltzmann Machine と呼ば れるモデルの汎化バイアスの非単調な振舞いを示した． 高い温度 (つまり小さい分散) では汎化バイアスは $\beta$ とともに線形に増加する． 一方，分岐点では 4 次の キュムラント $\kappa_4$ に依存した分岐の振舞いがみられた．

$\kappa_4\neq 0$ のとき，汎化バイアスは分岐した直後では $\beta$ の増加 とともに減少する． バイアスが減少している間，可変なパラメータの数は増えている． これは通常 TIC が可変なパラメータ数を測っているという暗黙の了解を破っ ている． この現象は，$\beta$ の最適な選択に影響を与える． 最適な汎化能力 が分岐点のあたりで達成されるときには，$\beta$ を増やした方が経験尤度もバ イアスも減らせるのである．

$\kappa_4\simeq0$ のとき，理論的には分岐が $K$-way であることを予測したが， 数値的な不安定性などから，実験的には観察されなかった．

ここでの解析は 1 次元で対称な分布であったが，高次元でも定性的な性質が 保たれていると考える．