確率分布の空間

情報幾何の出発点は，$n$次元の実数パラメータ $\boldsymbol{\xi}=(\xi^1,\ldots,\xi^n)$をもつ確率変数$X$の確率分布モデル $f(x; \boldsymbol{\xi})$である²． $\boldsymbol{\xi}$を座標系と考えると，確率分布モデル全体はこの座標系の張る なめらかな空間（幾何の言葉で言うと多様体） とみなすことが でき，一つ一つの確率分布はその空間中の１点として表される．

例 1 (離散分布)   $X$が離散変数で $\{x_0,x_1,\ldots,x_n\}$を取るとし， $\mathrm{Prob}(X=x_i)=q_i(>0)$とおく． $\sum_{i=0}^n q_i=1$だから， 独立なパラメータの個数は$n$個で，例えば $q_1,\ldots,q_n$を取れば， $n$次元のパラメータ空間となる．

例 2 (正規分布)   $X$を１次元実数とし，その確率密度を $f(x;\mu,\sigma^2) =\exp(-(x-\mu)^2/(2\sigma^2))/\sqrt{2\pi\sigma^2}$とする． これは $\mu,\sigma$によって規定される２次元空間である．

ちなみに，上の例を考えればわかるように，パラメータは一般に実数空間全体に 定義されるわけではなく，その部分集合（ $q_i>0,\sigma>0$など） が定義域となっている．