サンプルに重みがある場合

式 (3.32) を見ると，独立なサンプルからの学習は， $q(k\mid x_{(j)})$ で各サンプル $x_{(j)}$ を重み付けて学習しているとみなすこと ができる． したがって，もともとサンプル $x_{(j)}$ に $\rho_{(j)}$ という重みがつい ていたときの混合分布の学習法を定式化しておくと便利である． 具体的には次 のような利点がある．

1. 混合分布の要素分布がまた混合分布である Jordan らの階層的エキスパー トネットワークのような再帰的な適用が可能である．
2. データがヒストグラムの形で与えられている場合にはその頻度を $\rho_{(j)}$ として扱える．

まず，一般的な混合分布の場合，クラス事前分布 $p_i$ の学習 式 (3.31) は

$$p_k\tpth = \left\langle q\tth (k\mid x)\right\rangle_{\!\!\rho},$$ (3.35)

となる． ただし， $\left\langle\mbox{ }\right\rangle_{\!\!\rho}$ は重み付きのサンプル平均を表し，例え ば関数 $F(x)$ の平均は

$$\left\langle F(x)\right\rangle_{\!\!\rho} = {\sum_{j=1}^N F(x_{(j)}) \rho_{(j)}\over \sum_{j=1}^N \rho_{(j)}},$$ (3.36)

で与えられる. また，要素分布の学習 (3.32) は

$$\left\langle\sum_{k'=1}^K q\tth (k\mid x) {\partial \log f_{k'}(x)\over\partial\theta_k}\right\rangle_{\!\!\rho} = 0,$$ (3.37)

となり，独立な要素分布の場合の式 (3.33) は

$$\left\langle q\tth (k\mid x) {\partial \log f_{k}(x)\over\partial\theta_k}\right\rangle_{\!\!\rho} = 0,$$ (3.38)

となる．