用語解説

確率モデルと推定法

確率モデルの考え方では、 与えられたデータxはある確率変数Xの実現値と見なされます。 特に、この確率変数の確率密度関数が有限次元のパラメータtを持つ固定された 関数形f(x|t)を持つと仮定する場合、この確率密度関数族 F={f(x|t);t∈T} を パラメトリック確率モデルと言います。

データxに基づいてパラメータtの値に関する推測をする事を、 推定と言います。良く使われる推定方法は、f(x|t)を tの関数とみなし(尤度関数と言います。), これを最大にするtを推定値とするもので、最尤推定法と言います。

一方、ベイズ統計では, パラメータtも確率変数とみなし、 その確率密度関数g(t)を考えます。これをtの事前確率と言います。 事前確率と尤度関数からベイズの定理によって, tの事後確率g(t|x)を求める事が出来ます。g(t|x)に関するtの平均を tの推定値とする方法をベイズ推定法と言います。 また、g(t|x)を最大にするtを推定値とする方法を 最大事後確率推定法(MAP推定法)と言います。

さらに, 事前確率に対してもパラメータaを導入し, 固定された 事前確率g(t)の代りに事前確率の集合 G={g(t|a);a∈A} を考える場合, このパラメータaをハイパーパラメータと呼びます。 ハイパーパラメータをデータに基づいて推定する場合、 これを経験的ベイズ法と言います。

推定アルゴリズム

最尤推定法とMAP推定法は共に, ある関数を最大にするパラメータを 求めるという問題に帰着されます。この最適化問題を 実際に解くためのアルゴリズムを推定アルゴリズムと言います。 最急降下法やニュートン法などの一般的な最適化アルゴリズムを使う事も できますが、推定問題固有の特性を利用した効率的なアルゴリズムも いくつか存在しています。 EMアルゴリズム(期待最大アルゴリズム)はそのような推定アルゴリズムの一つで、 複雑な推定問題を, 簡単な推定問題の系列に帰着させて解きます。

BSOMシミュレーションに戻る
実験室に戻る