Type I モデルの場合

正規混合分布は正規分布の重み付きの和として定義される分布であるが， 閉じた形の EM アルゴリズムを得るためには一般的な形をした平均と共分散をもつ正規分 布ではなく，対角行列を共分散としてもつ次のような $K$ 個の正規分布(楕円 型正規分布[65])の混合分布 $\hat{f}_{\rm I}$ で $f$ を近似する必要があ る．

$$\hat{f}_{\rm I}(\mbox{\boldmath$x$}) = \sum_{k=1}^K\xi_k \phi(\mbox{\boldmath$x$};\ \mbox{\boldmath$\mu$}_k,\Sigma_k).$$ (5.5)

ここで，$\xi_k$ は非負の実数で $\sum_{k=1}^K\xi_k=1$ を満たす． $\Sigma_k$ は対角行列で，

$$\Sigma_k = \left[\begin{array}{ccc}\sigma^2_{j,1}&&0\\ &\ddots&\\ 0&&\sigma^2_{j,d}\end{array}\right].$$ (5.6)

また， $\phi(\mbox{\boldmath$x$};\ \mbox{\boldmath$\mu$},\Sigma)$ は式 (2.6) で導入した 平均 $\mbox{\boldmath$\mu$}$, 共分散行列 $\Sigma$ の正規分布である． $K$ を十分大きくとれば，任意の確率分布を必要な精度で近似することができ る．実際には $K$ を大きくとると，計算量が増加するので，計算量と精度と の兼ね合いから、モデルの設計者が適切に決める必要がある．

以下では，上記の手続きで近似したモデルを Type I モデルと呼ぶ．