パラメータの初期値

EM アルゴリズムは適当なパラメータの初期値から始めて，局所最適解に 収束させるアルゴリズムであり，混合分布のように多数の局所最適解を もつ問題に対しては初期値の定め方が非常に重要となる．

我々の問題の場合，解が満たしている条件として次のようなものが考えられる．

同じ(あるいは類似の) $\mbox{\boldmath$x$}$ に対して異なる $\mbox{\boldmath$y$}$ が存在する場合には その $\mbox{\boldmath$y$}$ は異なる属性である．

この特徴を反映させる方法として，評価基準

$$\sum_{i<j} {(\mbox{\boldmath$c$}^{\rm T}\mbox{\boldmath$y$}_... ...rt\mbox{\boldmath$x$}_i - \mbox{\boldmath$x$}_j\Vert+\epsilon}$$ (6.9)

を最大化するような射影軸 $\mbox{\boldmath$c$}$ を求めて，その射影された軸上で 属性の数だけ分割する． ただしここで $i, j$ はサンプルの番号， $\epsilon$ は正の定数． これによって，大雑把ではあるが， 類似の $\mbox{\boldmath$x$}$ に対して異なる $\mbox{\boldmath$y$}$ は別の属性として 分類されるようになることが期待できる．

更に，この最大化問題は $\Vert\mbox{\boldmath$c$}\Vert = 1$ という条件のもとで固有値問題として 陽に解ける． また，分母は任意の非線形な関数でも構わない．

上の式はサンプル数の自乗の項数を含むので，本稿での実験ではそのうちの 適当な個数をランダムサンプリングで項数を減らして近似する (本稿で述べる実験ではサンプル数の 10 倍($<$ サンプル数の自乗)の個数にした)． また，分割するといっても，非常に粗い解でしか ないので分割された結果は 0 か 1 に割り振るのではなく，中間的な値で重みづけ する． 今回の実験では，属性数が 2 のときには，一方の属性のクラスには 0.6 で属し， 他方のクラスには 0.4 で属するとした (3 属性のときは重みを 0.4, 0.3, 0.3 に配分した)．