独立な要素分布の場合

前節での条件に加え，更に各 $\theta_k$ の間にも関数的な依存性がなければ， 式 (3.32) は

$$\sum_{j=1}^n q\tth (k\mid x_{(j)}) {\partial \log f_{k}(x_{(j)})\over\partial\theta_k} = 0,$$ (3.33)

となり，これはサンプル $x_{(j)}$ を $q\tth (k\mid x_{(j)})$ で重み付けた 最尤方程式であり，各要素分布毎に重み付き最尤推定を行うことを意味し ている． ただし，第 5 章ではこれとは異なり，$\theta_k$ 間 に依存関係がある場合を扱う．

例 3 (正規混合分布に対する EM アルゴリズム)   例 1 で取り上げた正規混合分布の EM ステップは重 み付き平均と分散になる．

$$\mbox{\boldmath$\mu$}_k\tpth = {1\over Np_k\tpth }\sum_{j=1}^N q\tth (k\mid\mbox{\boldmath$x$}_{(j)})\mbox{\boldmath$x$}_{(j)},$$ (3.34)

$$V_k\tpth = {1\over Np_k\tpth }\sum_{j=1}^N q\tth (k\mid\mbox{\boldmath$x$}_{... ...mu$}_k\tpth )(\mbox{\boldmath$x$}_{(j)}-\mbox{\boldmath$\mu$}_k\tpth )^{\rm T}.$$

ただし， $q\tth (k\mid\mbox{\boldmath$x$}_{(j)})$ および $p_k\tpth$ はそれぞれ 式 (3.29), (3.31) で 与えられる．