定義

ランダム変数 $x$ の有限個の確率密度関数 $f_1(x),\ldots,f_K(x)$ と，離 散確率分布 $p_1,\ldots,p_K$ があるとき，$p_k$ で $f_k(x)$ の重みつき線 形和をとった関数

$$p(x) = \sum_{k=1}^K p_k f_k(x),$$ (2.1)

はまた確率密度関数になり，$p(x)$ を有限混合分布と呼ぶ[86]． 一般に混合分布とは，$K$ が無限個ある場合も含むが， 本論文では特に断らない限り有限混合分布を単に混合分布と呼ぶ．

$f_k(x)$ および $p_k$ は確率分布であるから，

$$f_k(x)\ge 0, \quad \int f_k(x)\,{\rm d}x = 1,\qquad k=1,\ldots,K,$$ (2.2)

$$p_k \ge 0,\quad \sum_{k=1}^K p_k = 1,\qquad k=1,\ldots,K,$$ (2.3)

を満たす．

$f_k(x)$ を要素分布と呼び，本論文では特にパラメータ $\theta_k$ をもつパ ラメトリックな分布

$$f_k(x) = f_k(x;\ \theta_k),$$ (2.4)

を考える．

例 1 (正規混合分布)   要素分布がすべて正規分布であるような混合分布を正規混合分 布という．

$$p(\mbox{\boldmath$x$};\ p_k, \mbox{\boldmath$\mu$}_k, V_k;\... ...p_k \phi(\mbox{\boldmath$x$};\ \mbox{\boldmath$\mu$}_k, V_k),$$ (2.5)

ここで， $\phi(\mbox{\boldmath$x$};\ \mbox{\boldmath$\mu$},V)$ は平均 $\mbox{\boldmath$\mu$}$, 分散共分散行 列 $V$ をもつ正規分布で， $\mbox{\boldmath$x$}$ の次元を $d$ としたとき

$$\phi(\mbox{\boldmath$x$};\ \mbox{\boldmath$\mu$}, V) = \left... ...ldmath$x$}-\mbox{\boldmath$\mu$}\right\Vert^2_{V^{-1}}\right\}$$ (2.6)

で定義される． ただし，

$$\left\Vert\mbox{\boldmath$x$}\right\Vert^2_{G}= \mbox{\boldmath$x$}^{\rm T}G\mbox{\boldmath$x$}.$$ (2.7)

正規混合分布は，混合分布の中でも最も基本的なものの一つであり，本論文 で扱うほとんどのモデルも正規混合分布に関連している．

また，第 6 章などで考える回帰の問題などでは 入力 $x$ から出力 $y$ への条件付き分布 $p(y\mid x)$ をモデル化すること が多い． この場合はランダム変数は $y$ で，要素分布は $f_k(y\mid x;\ \theta_k)$ の形になる．

例 2 (線形回帰混合モデル)   要素分布が線形回帰モデルであるような条件付きの混合分布を線形回帰混合モ デルという．

$$p(y\mid \mbox{\boldmath$x$};\ \mbox{\boldmath$a$}_k, b_k, \... ...\mbox{\boldmath$x$};\ \mbox{\boldmath$a$}_k, b_k,\sigma_k^2),$$ (2.8)

ここで， $f(y\mid\mbox{\boldmath$x$};\ \mbox{\boldmath$a$},b,\sigma^2)$ は， $\mbox{\boldmath$a$}$, $b$ をパラメータに持ち，ノイズの分散が $\sigma^2$ であるような次の線 形モデルである．

$$f(y\mid\mbox{\boldmath$x$};\ \mbox{\boldmath$a$}, b,\sigma^... ...$}^{\rm T}\mbox{\boldmath$x$} - b)^2\over2\sigma^2}\right\}.$$ (2.9)

このモデルは第 6 章の多価関数の学習の際に用いる．

以下では，混合分布の特徴を，いろいろな観点からまとめてみる．