本論文は大まかに分けて,準備の部分である 第 2, 3 章と, オリジナルの結果をまとめた第 4, 5, 6 章とからなる.
まず,第 2 章と第 3 章で本論文で扱 う有限混合モデルとその学習アルゴリズムである EM アルゴリズムについて概 説する. 従来なされてきた研究を概観するとともに,後の章で必要な基本事 項をまとめる. 有限混合分布は単純な分布であるだけに,統計学などでは 19 世紀の終わりからさまざまな研究がなされてきた. 網羅的な内容については成書 [31,86,50,51,89]に譲り,本論文では学習, 特に最尤推定に関わる事項を中心にまとめ,本論文で扱う問題点を明確化する.
第 4 章では,特殊な形の正規混合分布の汎化能力について述 べる. 汎化能力を測るために用いられる尺度としてよく用いられるのは, 訓練データに対する誤差がテストデータに対する誤差に対してもつバイアスである. AIC として知られている情報量規準もそのバイアスの期待値を評価したもので ある. 通常,バイアス値は統計モデルの可変なパラメータ数に比例し,モデ ルの複雑度が増すにしたがってバイアスも大きくなると考えられている. しかし ながら,ここで扱うモデルではその傾向が破られる場合があることが示される. このモデルでは,要素分布の分散がモデルの複雑度を制御する コントロールパラメータになっており, それを変化させることにより分岐現象を起こし,モデルパラメータの 見かけの個数を変化させることができる. 分岐の振舞いは,適当な仮定のも とで分布の統計量に依存して異なった様相を示す. そのうちのある場合につ いて,分岐の直後の汎化のバイアスを調べると,見かけのパラメータ数は増加 するのにバイアスは逆に減少するという現象が見られる[11,10].
第 5 章では,任意に与えられた分布の位置・尺度パラメータ (場合によっては回転パラメータも含む)の推定問題を扱い,正規混合分布のEM アルゴリズムを拡張した学習アルゴリズムを導く. 学習は 2 段階からなり, まず基本となる与えられた分布をあらかじめ正規混合分布を用いて 十分な精度で近似しておく. 次に与えられたデータに対して必要となるパラメータの推定を行 う. 単純な正規混合分布では M ステップが指数分布族のパラメータ推定に帰 着されるが,この問題の場合には必要な位置・尺度パラメータが混合分布の要 素分布に共通して含まれており,曲がった部分空間(曲指数分布族)での推定と なってしまう. しかしながら,要素分布の形に制限を加えておくと,それが 2 次方程式の解として与えられることを示すことができる[6].
第 6 章では, 記号的な情報が隠れている不完全情報下での 学習の例題として,複数情報源からの属性概念獲得の問題を考え, 混合分布と EM アルゴリズムによる学習を実データに対して行った実験結果を示す. この問題では,音声と画像 のペアのデータから,そこに隠された属性概念という構造を統計モデルを用いて学 習する. この問題自体は発達心理学における概念形成のモデルと関連が深いが, 工学的には近年盛んに研究されている電子秘書などの アプリケーション[38]における環境情報の学習の 基礎となる研究である. このようなマンマシンインタフェースでは,ユーザに依存した情報 (好みや個人情報など)を 反映させることによって,人間に優しく使いやすいものにすることが できると考えられる[37,9,19]. しかしながら,それらの情報 は多様であるのみならず,時間とともに変化する可能性もあるため,あらかじめ作り こむことは難しい. したがって,これらの情報を学習によって獲得させる ことが重要になるが,更に固有の問題として, カメラやマイクといった複数のチャネルを扱う必要があることが挙げられる. 本研究はこういったユーザインタフェースの研究においても統計的手法 が有効であることを検証する[4,5,8].
最後に,第 7 章では本研究の結論と今後の研究課題に ついてまとめる.
本論文での記号の使い方について少し説明を補っておく. まず,確率・統計 学の文献では確率変数として大文字を,その実現値として小文字を用いること が多いが,本論文では基本的にすべて小文字で記す. また,確率分布は特に 紛らわしくない場合を除き,すべて , のように で表し,引 数によりその関数を区別する. また,一般的な説明や定式化ではベクトルに成り 得る変数やパラメータもボールド体のベクトル表現を特に用いない.