Type I モデルの場合

モデルを構成するどの正規分布からデータが発生したかという値 $k$ を隠れ た変数としたときに， $(\mbox{\boldmath$x$},k)$ の同時分布は

$$p_{\rm I}(\mbox{\boldmath$x$},k;\ A,\mbox{\boldmath$b$})= {... ...-\mbox{\boldmath$\mu$}_k\right\Vert^2_{\Sigma_k^{-1}}\right\},$$ (5.8)

となる． まず，式 (3.29) に対応する 次の条件つき確率を定義する．

$$q_{{\rm I}\,k}\tth (\mbox{\boldmath$x$}) = {p_{{\rm I}}(k\mid\mbox{\boldmath$x$};\ A\tth ,\mbox{\boldmath$b$}\tth )}$$

$$= {p_{{\rm I}}(\mbox{\boldmath$x$},k;\ A\tth ,\mbox{\boldmath$b$}\t... ...k'=1}^K p_{{\rm I}}(\mbox{\boldmath$x$},k';\ A\tth ,\mbox{\boldmath$b$}\tth )}.$$ (5.9)

この値は，各繰り返しステップでのパラメータの値から計算可能なものである．

さて，この場合 M ステップの最適化問題は陽に解くことができない． そこで ECM アルゴリズム を採用し，$A$ と $\mbox{\boldmath$b$}$ のそれぞれを順番に最適化することにする．ECM ア ルゴリズムの各ステップの導出の詳細は 付録B にまとめる ことにし，ここでは結果だけを述べる．

まず， $\mbox{\boldmath$b$}= \mbox{\boldmath$b$}\tth$ に固定して, $A\tpth$ を最適化すると，

$$a_i\tpth = {\sqrt{(Y_{{\rm I}\,i})^2+4X_{{\rm I}\,i}Z_{\rm I}}-Y_{{\rm I}\,i}\over 2X_{{\rm I}\,i}},$$ (5.10)

が得られる．ここで $X_{{\rm I}\,i}, Y_{{\rm I}\,i}, Z_{\rm I}$ はそれぞれ次のよう に計算される統計量である．

$$X_{{\rm I}\,i}= \left\langle x_i^2\sum_{k=1}^K{q_{{\rm I}\,k... ...ox{\boldmath$x$})\over\sigma_{k,i}^2}\right\rangle_{\!\!\rho},$$ (5.11)

$$Y_{{\rm I}\,i}= \left\langle x_i\sum_{k=1}^K{(b_i\tth -\mu_{... ...ox{\boldmath$x$})\over\sigma_{k,i}^2}\right\rangle_{\!\!\rho},$$ (5.12)

$$Z_{\rm I}= \left\langle\sum_{k=1}^Kq_{{\rm I}\,k}\tth (\mbox{\boldmath$x$})\right\rangle_{\!\!\rho}.$$ (5.13)

次に，得られた $A\tpth$ を用いて, $\mbox{\boldmath$b$}\tpth$ を求める.

$$b_i\tpth = {U_{{\rm I}\,i}\over V_{{\rm I}\,i}}.$$ (5.14)

ここで $U_{{\rm I}\,i}, V_{{\rm I}\,i}$ は次のように計算される統計量である．

$$U_{{\rm I}\,i}= \left\langle\sum_{k=1}^K{(\mu_{k,i}-a_i\tpth... ...ox{\boldmath$x$})\over\sigma_{k,i}^2}\right\rangle_{\!\!\rho},$$ (5.15)

$$V_{{\rm I}\,i}= \left\langle\sum_{k=1}^K{q_{{\rm I}\,k}\tth ... ...ox{\boldmath$x$})\over\sigma_{k,i}^2}\right\rangle_{\!\!\rho}.$$ (5.16)

ここでは最初に $\mbox{\boldmath$b$}$ を固定したが， $A$ を先にしてもよい．