next up previous
次へ: 実験 上へ: 学習アルゴリズム 戻る: Type I モデルの場合

Type II モデルの場合

Type II モデルでも同様に $k$ を導入すると, $(\mbox{\boldmath$x$},k)$ の同時分布は

$\displaystyle p_{\rm I\!I}(\mbox{\boldmath$x$},k;\ H,\mbox{\boldmath$b$})$ $\textstyle =$ $\displaystyle {(h_1^2+h_2^2)\xi_k \over(2\pi\sigma_k^2)}
\exp\Bigl[-{1\over2\sigma_k^2}\Bigl
\{(h_1x_1+h_2x_2-\mu_{k,1}+b_1)^2$  
    $\displaystyle +(-h_2x_1+h_1x_2-\mu_{k,2}+b_2)^2\Bigr\}\Bigr],$ (5.17)

とあらわされる.

EM アルゴリズムを行うために必要な条件付き確率は

$\displaystyle q_{{\rm I\!I}\,k}\tth (\mbox{\boldmath$x$})$ $\textstyle =$ $\displaystyle {p_{{\rm I\!I}}(k\mid \mbox{\boldmath$x$};\ H\tth ,\mbox{\boldmath$b$}\tth )}$  
  $\textstyle =$ $\displaystyle {p_{{\rm I\!I}}(\mbox{\boldmath$x$},k;\ H\tth ,\mbox{\boldmath$b$...
...1}^K
p_{{\rm I\!I}}(\mbox{\boldmath$x$},k';\ H\tth ,\mbox{\boldmath$b$}\tth )},$ (5.18)

で計算することができる.

Type II の場合も $H$ $\mbox{\boldmath$b$}$ を同時に最適化することは困難であるので, まず, $\mbox{\boldmath$b$}= \mbox{\boldmath$b$}\tth $ を固定し,$H\tpth $ を求める. すると,

\begin{displaymath}
h_1\tpth = {Y_{{\rm I\!I}\,1}\left(1+\sqrt{1+\displaystyle {...
... I\!I}\,1}^2+Y_{{\rm I\!I}\,2}^2}}\right) \over2X_{\rm I\!I}},
\end{displaymath} (5.19)


\begin{displaymath}
h_2\tpth = {Y_{{\rm I\!I}\,2}\over Y_{{\rm I\!I}\,1}} h_1\tpth ,
\end{displaymath} (5.20)

が得られる.

ここで $X_{\rm I\!I}, Y_{{\rm I\!I}\,1}, Y_{{\rm I\!I}\,2}, Z_{\rm I\!I}$ はそれぞれ,次の ように計算される統計量である.

\begin{displaymath}
X_{\rm I\!I}= \left\langle(x_1^2+x_2^2)\sum_{k=1}^K{q_{{\rm ...
...(\mbox{\boldmath$x$})\over\sigma_k^2}\right\rangle_{\!\!\rho},
\end{displaymath} (5.21)


\begin{displaymath}
Y_{{\rm I\!I}\,1}= \Bigl\langle \sum_{k=1}^K{q_{{\rm I\!I}\...
... )x_1+
(\mu_{k,2}-b_2\tth )x_2\Bigr\}\Bigr\rangle_{\!\!\rho},
\end{displaymath} (5.22)


\begin{displaymath}
Y_{{\rm I\!I}\,2}= \Bigl\langle \sum_{k=1}^K{q_{{\rm I\!I}\...
... )x_2-
(\mu_{k,2}-b_2\tth )x_1\Bigr\}\Bigr\rangle_{\!\!\rho},
\end{displaymath} (5.23)


\begin{displaymath}
Z_{\rm I\!I}= \left\langle\sum_{k=1}^Kq_{{\rm I\!I}\,k}\tth (\mbox{\boldmath$x$})\right\rangle_{\!\!\rho}.
\end{displaymath} (5.24)

次に $H=H\tpth $ を固定して $\mbox{\boldmath$b$}\tpth $ を求める.

\begin{displaymath}
b_1\tpth = {U_{{\rm I\!I}\,1}\over V_{\rm I\!I}},
\end{displaymath} (5.25)


\begin{displaymath}
b_2\tpth = {U_{{\rm I\!I}\,2}\over V_{\rm I\!I}}.
\end{displaymath} (5.26)

ここで $U_{{\rm I\!I}\,1}, U_{{\rm I\!I}\,2}, V_{\rm I\!I}$ はそれぞれ次のように計算さ れる統計量である.
\begin{displaymath}
U_{{\rm I\!I}\,1}= \Bigl\langle \sum_{k=1}^K{ q_{{\rm I\!I}...
...,1}-(h_1\tpth x_1+h_2\tpth x_2)\Bigr\}\Bigr\rangle_{\!\!\rho},
\end{displaymath} (5.27)


\begin{displaymath}
U_{{\rm I\!I}\,2}= \Bigl\langle \sum_{k=1}^K{ q_{{\rm I\!I}...
...,2}-(h_1\tpth x_2-h_2\tpth x_1)\Bigr\}\Bigr\rangle_{\!\!\rho},
\end{displaymath} (5.28)


\begin{displaymath}
V_{\rm I\!I}= \left\langle\sum_{k=1}^K{q_{{\rm I\!I}\,k}\tth (\mbox{\boldmath$x$})\over\sigma_k^2}\right\rangle_{\!\!\rho}.
\end{displaymath} (5.29)


next up previous
次へ: 実験 上へ: 学習アルゴリズム 戻る: Type I モデルの場合
Shotaro Akaho 平成15年7月22日