$\kappa _4<0$ の場合

真の分布は 2 個の正規分布の混合分布にとった．

$$q(x) = {1\over2}\sqrt{C_1\over\pi} \left[ \exp\left\{-C_1(x-C_2)^2\right\} + \exp\left\{-C_1(x+C_2)^2\right\}\right],$$ (4.8)

ただし $C_1 = 12.5, C_2 = \sqrt{0.96}$ で，$q(x)$ の分散が 1.0 になる ようにした． この分布の 4 次キュムラントは約 $-1.84$ である． 温度を変えたときの最尤解の分布の例を図4.2に示 す． これに対応する経験尤度は図4.3 のように変化する． また，100,000 個のテストサンプルを用いて推定した真の尤度と 経験尤度との差を汎化バイアスの推定値としてプロットしたのが 図4.4である． 定理 6 にあるようなバイアスの非単調性が観察される．

ただし，乱数の初期値によって生じる非対称性によって， 仮定 2 から大きく外れた解が最尤解になる場合には， 非単調性が観測されない場合もあった．

図 4.2: $\kappa _4<0$ のときの最尤解． 横軸: $\log(\beta)$; 縦軸: $w$ および $x$. 点は各温度での最尤解右端の `$-$' が学習サンプルをあ らわす

図 4.3: $\kappa _4<0$ のときの経験尤度． 横軸: $\log(\beta)$; 縦軸: 経験尤度; 破線 : $\beta _c$ の経験値

図 4.4: $\kappa _4<0$ のときのバイアスの推定値の振舞い． 横軸: $\log(\beta)$; 縦軸: バイアスと訓練サンプルの数の積; 破線 : $\beta _c$ の経験値