分岐点より温度が低い場合

まず，以下の仮定をおく．

仮定 1   真の分布 $q(x)$ が 1 次元実空間 R の上で定義され， 対称な分布であると仮定する． また，RBBM における正規分布の要素数 $K$ は偶数であるとする．

ここで， $\sigma^2 = {\rm E}_{q}\left[\,(x-{\rm E}_{q}\left[\,x\,\right])^2\,\right]$ および $s_4 = {\rm E}_{q}\left[\,(x-{\rm E}_{q}\left[\,x\,\right])^4\,\right]$ は $q(x)$ の 2 次および 4 次の(平均 まわりの)モーメントとする． 4 次のキュムラントは $\kappa_4 = s_4 - 3(\sigma^2)^2$ と定義される( $\kappa_4 / s_4$ は尖度と呼ばれる).

さて，上の仮定の下で，分岐点の振舞いを特徴付けることができる．

定理 3   仮定 1の下で，十分 $K$ が大きいとき， 第 1 分岐点の振舞いは以下の 3 通りに分類される:

1. $\kappa _4<0$ のとき分岐は 2-way: 要素分布は 2 個のクラスタにわかれる． 第 1 分岐点 $\beta _c$ の近傍での最尤解と $\beta$ の関係は
   

   $$\Delta\beta\simeq{s_4\over 6(\sigma^2)^4}(\Delta w_k)^2,$$ (4.3)

   
   
   で与えられる． ただし $\Delta\beta = \beta - \beta_c > 0$, $\Delta w_k = w_k - {\rm E}_{q}\left[\,x\,\right]$.
2. $\kappa _4>0$ のとき分岐は 3-way: 要素分布は 3 個のクラスタにわかれ る． 第 1 分岐点 $\beta _c$ の近傍での最尤解は $w_k=0$ または $\Delta\beta\propto(\Delta w_k)^2$.
3. $\kappa _4=0$ のとき分岐は $K$-way: 要素分布は $K$ 個のクラスタにわかれる． 個々の要素 $\Delta w_k$ は 3 次展開まででの近似では決定条件が足りないが， 第 1 分岐点の近傍での最尤解は，
   

   $$\Delta\beta\simeq{1\over2(\sigma^2)^2}\sigma_w^2,$$ (4.4)

   
   
   を満たす． ここで $$\sigma_w^2 = {1\over K}\sum_k\Delta {w_k}^2$$, $$\Delta w_k = w_k - {\rm E}_{q}\left[\,x\,\right]$$.

もし $q(x)$ が正規分布のときは $\kappa_4$ は 0 になる． したがって上記の条 件は $q(x)$ の 4 次のキュムラントの意味での正規分布との類似性 に関係している． 2-way になるか 3-way になるかは $\kappa_4$ の符号，すなわち 尖度に依存して決まるが，定性的には正規分布よりも尖った分布であれば 3-way に分岐し，尖り方が小さい分布では 2-way になる． 3-way になる場合には $w_k={\rm E}_{q}\left[\,x\,\right]$ を満たす要素分布の個数が $q(x)$ によって変化し， それに伴って $w_k\ne{\rm E}_{q}\left[\,x\,\right]$ となる $w_k$ の具体的な値も変わるので定理の中で は与えなかった． この値は後で述べる定理 4 に関係するので， 具体的にはこれらの定理の証明を含めて付録 A.1 の中で示す． ちなみに，Akaho and Kappen[10] では 2-way になる場合だけを 述べているが，本論文ではより精密な解析により，3-way になる場合が 存在することを示した．

一方，式 (4.4) は $\kappa _4=0$ の場合 3 次までの漸近展開 では解が一意に定まらないことを意味している． 4 次以上の展開をすればこの自由度は減らせると考えられるが， このような解は非常に不安定である． むしろ決定条件が足りない式のままで次のように解釈するのが有用であろう． 仮に無限にたくさんの要素分布があったとすると，逆温度 $\beta$ の 正規密度を $\phi(x;\ \beta)$ として， モデル $p(x;\ w)=(1/K)\sum_{k=1}^K \phi(x-w_k;\ \beta)$ は，たたみこみ

$$p(x;\ w)=\int r(w)\, \phi(x-w;\ \beta)\,{\rm d}w,$$ (4.5)

の形に書ける． ただし，$r(w)$ は $w$ の分布を表す． ここで $q(x)$ が正規分布だとすると，分岐点より $\beta$ が 大きい場合には $r(w)$ も正規分布になり，その分散は 式 (4.4) の関係を満たす．

さて，汎化バイアスの解析について述べる前に，分岐点の近傍での尤度の振舞い について触れておく．

定理 4   仮定 1の下で，RBBM の最尤解に対する尤度の $\beta$ に 関する傾きは，第 1 分岐点で 0 となる．

先に述べたように，この定理の証明は付録 A.1 で与える． この定理を経験尤度に対して適用し， 次の節で述べる汎化バイアスに加えることにより，汎化能力の振舞いが 評価できることになる．