次へ: EM アルゴリズムの一般化
上へ: EM アルゴリズム
戻る: 独立な要素分布の場合
式 (3.32) を見ると,独立なサンプルからの学習は,
で各サンプル
を重み付けて学習しているとみなすこと
ができる. したがって,もともとサンプル
に
という重みがつい
ていたときの混合分布の学習法を定式化しておくと便利である. 具体的には次
のような利点がある.
- 混合分布の要素分布がまた混合分布である Jordan らの階層的エキスパー
トネットワークのような再帰的な適用が可能である.
- データがヒストグラムの形で与えられている場合にはその頻度を
として扱える.
まず,一般的な混合分布の場合,クラス事前分布
の学習
式 (3.31) は
![\begin{displaymath}
p_k\tpth = \left\langle q\tth (k\mid x)\right\rangle_{\!\!\rho},
\end{displaymath}](img154.png) |
(3.35) |
となる. ただし,
は重み付きのサンプル平均を表し,例え
ば関数
の平均は
![\begin{displaymath}
\left\langle F(x)\right\rangle_{\!\!\rho} = {\sum_{j=1}^N F(x_{(j)}) \rho_{(j)}\over \sum_{j=1}^N \rho_{(j)}},
\end{displaymath}](img157.png) |
(3.36) |
で与えられる. また,要素分布の学習 (3.32) は
![\begin{displaymath}
\left\langle\sum_{k'=1}^K q\tth (k\mid x) {\partial \log
f_{k'}(x)\over\partial\theta_k}\right\rangle_{\!\!\rho} = 0,
\end{displaymath}](img158.png) |
(3.37) |
となり,独立な要素分布の場合の式 (3.33) は
![\begin{displaymath}
\left\langle q\tth (k\mid x) {\partial \log
f_{k}(x)\over\partial\theta_k}\right\rangle_{\!\!\rho} = 0,
\end{displaymath}](img159.png) |
(3.38) |
となる.
Shotaro Akaho
平成15年7月22日