next up previous index
次へ: 線形システム 上へ: 機械学習の情報幾何 戻る: 機械学習の情報幾何   索引


統計的推定

7で述べたように,統計的な扱いやすさから, ここでは$S$として指数分布族を仮定しよう. その際,仮定したモデルを含むような十分広いものを選ぶ必要がある. すると,モデルは$S$の部分空間$M$として表現される. これを曲指数分布族という.

一方,指数分布族では情報を落とすことなくデータを 十分統計量に集約できる. 十分統計量は$N$個のサンプル $x_1,\ldots,x_N$ が観測されたとき,$F_i(x)$のサンプル平均 $r_i = \sum_{j=1}^N F_i(x_j)/N$ で計算される. この$r_i$$\eta_i$座標成分 として,データ点を$S$の点 $\boldsymbol{\eta}=\boldsymbol{r}$で表すことができる.

モデル$M$$S$そのものであれば,座標値そのものが答えなのだから, $\boldsymbol{\eta}$から $\boldsymbol{\theta}$に座標に変換すればモデルパラメータが 求まる. だが,一般の場合は, $\boldsymbol{\eta}=\boldsymbol{r}$$M$の外の点なので, 射影を取らなくてはならない. 統計的推定で用いられる最尤推定は, $m$-射影を取っていることに相当している.$m$-射影は$e$-平坦な 部分空間に対しては非常に単純になる.



Shotaro Akaho 平成19年6月13日