クラスタ分析に基づくニューラルネットワークの学習
本論文では，パターン認識を行う３層ニューラルネットワークの中間層の働きを，学習パターンに含まれるクラスタごとの判別分析とみなし，与えられた学習パターンのクラスタ分析の結果に基づいて，重みの初期値を設定する手法を提案する．提案する手法は，（１）学習パターンの直和分解によるクラスタ分析，および，(2)各クラスタに属するパターンの，そのクラスタに対応する内部表現(代表ベクトル)への集塊化の２段階の処理からなる．クラスタ分析の結果の評価基準である平均ひずみ測度と，各カテゴリーのクラスタ数との関連を調べ，各カテゴリーのクラスタ数(中間層のユニット数)の設定法についても考察する．分布の単峰性を仮定できないパターンに対する数値実験を行った結果，提案手法は，乱数で重みの初期値を設定した場合に比べ，学習の進行を促進し，同一の学習回数で高い認識率を得られること，また，学習係数の変化に対し頑健であるという性質をもつことを確認した．
|
実験では、野外シーンを撮像した画像を用い、カテゴリ｛道路、木、芝生、空｝から得られる１３１１個の１２次元ベクトルを抽出した。それに対しLBGアルゴリズムによりベクトル量子化を行った結果、クラスタ数に対する各カテゴリの平均ひずみは下の左図のように変化した。この結果より、各カテゴリに対し、平均ひずみが０．０１になるようにクラスタ数を決定した。クラスタ数は３９，３９，１４，８となり、総数は１００である。各クラスタに対し、線形分離可能な超立方体の頂点に対応する２進コードを割り当てることから、中関数のユニット数は２のｐ乗が１００を上回る最小のｐ、つまり７となる。
|
|
上の右図では、提案方法で重みの初期値を設定した場合と、乱数によって重みの初期値を設定した場合の学習曲線を比較している。乱数で重みの初期値を設定した場合には，誤差が一時的に増加したり，振動するなどの現象が見られる．一方，上記のようにクラスタ数を決定し，ネットワークを構成した提案手法では，そのような現象を生じることなしに，学習が進行し，誤差が減少していることがわかる．このことから，乱数で重みの初期値を設定した場合に比べ，提案手法は誤差の収束性に優れていることがわかる．また、その結果、少ない学習回数でも高い認識率を達成可能であることも確認している。 |
