next up previous
次へ: 分岐点より温度が低い場合 上へ: 汎化バイアスの非単調性 戻る: 汎化バイアスの非単調性


分岐点より温度が高い場合

一つのクラスタしかないときには ( $\beta < \beta_c$),有効パラメータ数 $h_{\rm eff}$ を陽に計算 できる. 以下の定理は汎化バイアスが $\beta$ に比例して大きくなることを 示している. $\beta$ を制御パラメータとするモデルの $h_{\rm eff}$ $h_{\rm eff}(\beta)$ と書く.

定理 5   $\beta < \beta_c$ のとき $h_{\rm eff}$
\begin{displaymath}
h_{\rm eff}(\beta) = 2\beta {\rm Tr}[V_{\mbox{\boldmath$x$}}],
\end{displaymath} (4.6)

で与えられる. ただし, $V_{\mbox{\boldmath$x$}}$ $q(\mbox{\boldmath$x$})$ の共分散行列.

定理 5 の証明は付録 A.2 で与える. この定理により,分岐点より前では $\beta$ が増加するとともに バイアスも増加することを示しており,従来から知られている汎化能力に 関する一般的な結果に一致する.



Shotaro Akaho 平成15年7月22日