分岐点以下の汎化バイアス

(定理 5 の証明)

温度が最初の分岐点より高いとき，すべての要素分布は一つの正規分布に 退化する． したがって，この場合 1 個の要素分布だけからなるモデルを考えれば よい．

1 個の正規分布に対する $D(W^*)$ と $H(W^*)$ は次のように計算できる．

$$D_{ij}(W^*) = 4\beta^2V_{ij},$$ (A.11)

$$H_{ij}(W^*) = 2\beta\delta_{ij},$$ (A.12)

ここで $V_{ij}$ は $x_k$ と $x_j$ の間の共分散行列であり， $\delta_{ij}$ は Kronecker の $\delta$ である． したがって TIC は

$$h_{\rm eff}(\beta) = {\rm Tr}[H(W^*)^{-1}D(W^*)] = 2\beta{\rm Tr}[V_{\mbox{\boldmath$x$}}]$$ (A.13)

で与えられる．

証明終