Type II モデルの EM 法の導出

E ステップにおける関数 $Q$ は

$$Q_{\rm I\!I}(H,\mbox{\boldmath$b$}) = \left\langle\sum_{k=1}... ...oldmath$x$},k;\ H,\mbox{\boldmath$b$})\right\rangle_{\!\!\rho}$$ (B.5)

となる．まず， $\mbox{\boldmath$b$}= \mbox{\boldmath$b$}\tth$ を固定し, $H\tpth$ を求める．

$${{\partial\over\partial h_1}Q_{\rm I\!I}(H,\mbox{\boldmath$b$}\tth ) = \Bigl\langle \sum_{k=1}^K\Bigl[{2h_1\over h_1^2+h_2^2}}$$

$$-{q_{{\rm I\!I}\,k}\tth (\mbox{\boldmath$x$})\over\sigma_k^2} \le... ...-\mu_{j,1})x_1+ (b_2\tth -\mu_{j,2})x_2\right\}\Bigr]\Bigr\rangle_{\!\!\rho}=0,$$

$${{\partial\over\partial h_2}Q_{\rm I\!I}(H,\mbox{\boldmath$b$}\tth ) = \Bigl\langle \sum_{k=1}^K\Bigl[{2h_2\over h_1^2+h_2^2}}$$

$$-{q_{{\rm I\!I}\,j}\tth (\mbox{\boldmath$x$})\over\sigma_j^2} \bi... ... -\mu_{j,1})x_2- (b_2\tth -\mu_{j,2})x_1\Bigr\}\Bigr]\Bigr\rangle_{\!\!\rho}=0,$$

を整理すると

$${2h_1\over h_1^2+h_2^2}Z_{\rm I\!I} = h_1 X_{\rm I\!I}- Y_{{\rm I\!I}\,1},$$ (B.6)

$${2h_2\over h_1^2+h_2^2}Z_{\rm I\!I} = h_2 X_{\rm I\!I}- Y_{{\rm I\!I}\,2}$$ (B.7)

となる．ただし， $X_{\rm I\!I}, Y_{{\rm I\!I}\,1}, Y_{{\rm I\!I}\,2}, Z_{\rm I\!I}$ はそれぞれ式 (5.21), (5.22), (5.23), (5.24) で与えられる． 第一式の各辺を第二式の各辺で割り， $h_1$ または $h_2$ を消去すると，

$$h_2 = {Y_{{\rm I\!I}\,2}\over Y_{{\rm I\!I}\,1}} h_1$$ (B.8)

なる関係が得られ，$h_2$ を消去すると 連立方程式は2次方程式に帰着され, 二つの解が得られる．

得られた二つの解を $Q_{\rm I\!I}(H,\mbox{\boldmath$b$}\tth )$ の式に代入して整理すると

$$\log\{(1\pm C_1)^2\} - C_2 (1\mp C_1)^2 + \mbox{定数}$$ (B.9)

という形に書ける(複号同順, $C_1, C_2 > 0$)． 各項を比較することにより尤度が大きいのは 式 (5.19)のときであることが言える．

次に $H=H\tpth$ を固定して $\mbox{\boldmath$b$}\tpth$ を求める．

$${\partial\over\partial b_1}Q_{\rm I\!I}(H\tpth ,\mbox{\boldmath$b$}) = \Bigl\langle -\sum_{k=1}^K{q_{{\rm I\!I}\,j}\tth (\mbox{\boldmath$x$})\over\sigma_j^2}(h_1\tpth x_1$$

$$+h_2\tpth x_2+b_1-\mu_{j,1}) \Bigr\rangle_{\!\!\rho}=0$$ (B.10)

という一次方程式を解けば $b_1\tpth$ に関する更新式 (5.25) が得られ， 同様にして $b_2\tpth$ に関する更新式 (5.26)が得られる．