分岐に関する特徴づけについての定理の証明

(定理 3 および定理 4 の証明)

一般性を失うことなく， ${\rm E}_{q}\left[\,x\,\right] = 0$ としてよい． 仮定より，正規分布の要素数は偶数なので， $K = 2 K_1$ とする．

真の分布は対称で正規分布の数は偶数だから，分岐は対称で

$$p(x;\ W;\ \beta) = {1\over 2K_1}\sum_{k=1}^{K_1} \sqrt{\beta\over\pi}\,p_k(x;\ w_k;\ \beta),$$ (A.1)

と書ける． ただし

$$p_k(x;\ w_k;\ \beta) = \exp(-\beta(x-w_k)^2) + \exp(-\beta(x+w_k)^2).$$ (A.2)

ここで，分布の対数の微分を

$$L_k(x;\ W;\ \beta) = {\partial\over\partial w_k}\log p(x;\ W... ...ta) = {\partial_k p_k(x;\ w_k;\ \beta)\over p(x;\ W;\ \beta)},$$ (A.3)

とおく． 真の分布 $q$ に関する尤度は，真の最尤解 $W^*$ で 0 になり，

$$R_{\rm exp}(W^*;\ \beta) = {\rm E}_{q}\left[\,L_k(x;\ W^*;\ \beta)\,\right] = 0,$$ (A.4)

を満たす． この解は，分岐点より前では $W^*=0$となり，分岐以後では $W^*$ は 一般に 0 ではなくなる． $\Delta \beta=\beta-\beta_c$ を用いて $\Delta w_k=w_k$ を表すために， $L_k(x;\ W, \beta)$ を $W$ については 3 次まで， $\beta$ については 1 次まで， $\beta=\beta_c$ と $W=0$ のまわりで 展開する．

$${\rm E}_{q}\left[\,L_k(x;\ W;\ \beta)\,\right] = {2\over K_1}\Delta\beta \Delta w_k -{1\over2{K_1}^2}\sum_{j\neq k}({s_4\over (\sigma^2)^2}-1) \Delta w_k\Delta w_j^2$$

$$+{1\over6K_1(\sigma^2)^2}\left\{{s_4\over\displaystyle (\sigma^2)^2} -3-{3\over K_1} ({s_4\over(\sigma^2)^2}-1)\right\}\Delta w_k^3$$

$$+\mbox{\ higher order terms}.$$ (A.5)

${\rm E}_{q}\left[\,L_k(x;\ W;\ \beta)\,\right]=0$ とおき， 高次の項を省略すると，$K_1$ 個の $\Delta\beta$ と $\Delta w_k=w_k$ に 関する方程式を得る． これらはそれぞれ， $f_k(W,\Delta\beta)\, w_k=0$ という 形をしているので， $w_k=0$ または $f_k(W,\Delta\beta)=0$ を満たす． そこで，$K_1$ 個の中で $f_k(W,\Delta\beta)=0$ を満たす方程式の個数を $K_2$ と置く．

まず， $s_4=3(\sigma^2)^2$ のとき， $f_k(W,\Delta\beta)=0$ はすべて

$$\Delta\beta = {\sum_k \Delta w_k^2\over2K_1(\sigma^2)^2}$$ (A.6)

という単一 の方程式に帰着され，定理 3 の第 3 の場合になる． したがって，高次の項を無視すると $w_k$ が $\beta$ から一意には 定まらないことを意味する．

次に， $s_4\neq3(\sigma^2)^2$ とすると， $f_k(W,\Delta\beta)=0$ は

$$\Delta\beta = \left\{{s_4-3(\sigma^2)^2\over12(\sigma^2)^4}+ {K_2\over4K_1}(s_4-(\sigma^2)^2)\right\}\Delta w_k^2,$$ (A.7)

という方程式となり，0 でない $w_k$ は符号を除きすべて同じ値 $w$ になる．

このうち尤度を最大にする $K_2$ を求める． ある温度 $1/\beta$ での尤度 $R(W;\ \beta)$ を分岐点での尤度の 周りで展開し整理すると，

$$R(W;\ \beta) \simeq R(0;\ \beta_c) + {1\over2}{\partial^2 R(0;\ \beta_c)\over\partial\beta^2} \Delta\beta^2$$

$$+ {1\over24}\sum_{k=1}^{K_1}\left({ \partial^4 R(0;\ \beta_c)\ove... ...{\partial^4 R(0;\ \beta_c)\over\partial^2 w_k\partial^2 w_j}\right)\Delta w_k^4$$

$$+ \mbox{\ higher order terms},$$ (A.8)

となる． $\partial^2 R(0;\ \beta_c)/\partial\beta^2$ 等に具体的な値を代入し， 更に式 (A.7) を $\Delta\beta$ に入れると，

$${R(W;\ \beta) = R(0;\ \beta_c)}$$

$$+ {3(\sigma^2)^2-s_4\over 144(\sigma^2)^2}\left\{ (s_4-(\sigma^2)... ...t)^2 - {2\over3}(s_4-2(\sigma^2)^2){K_2\over K_1}+s_4-3(\sigma^2)^2 \right\}w^4$$

$$+ \mbox{\ higher order terms},$$ (A.9)

となる．

ここで， $s_4<3(\sigma^2)^2$ と仮定すると， 一般に， $s_4\ge(\sigma^2)^2$ なので，右辺第 2 項は $K_2/K_1$ について 下に凸になる． したがって，最大値は $K_2=K_1$ または $K_2=0$ のときに限られ， それぞれの場合を比較すると，$K_2=K_1$ が最尤解となる． これは $w_k=0$ となる 解が一つもないことを意味しており，この場合分岐は 2-way になることが示された．

一方， $s_4>3(\sigma^2)^2$ と仮定すると， 今度は上に凸になるので，極大点を調べると，

$$K_2 = {s_4-2\sigma^4\over 3(s_4-\sigma^4)}K_1 < K_1$$ (A.10)

となり，この場合分岐が 3-way になることが示された．

また，式 (A.9) から， $O(\Delta\beta) = O(w^2)$ の項は 0 になることがわかり，定理 4 も導かれる．

証明終