ガウシアンプロセス

ガウシアンプロセス (正規過程: GP) はブラウン運動などと関連し確率過程で 古くから研究されてきた対象であり，学習においても特に関数近似に関しては SVM などよりもずっと基本的なモデルであり，これを理解しておくことは 重要である．

GP には二つの等価な定義が可能であるが，ここでは学習という観点からベイズ線形回帰 に基づく定義を書く． $n$ 個のサンプルデータ $(\mbox{\boldmath$x$}_i,y_i)\in {\cal X}\times\Re$ $(i=1,\ldots,n)$ が与えられたとき，線形モデル $f_w(\mbox{\boldmath$x$})=\mbox{\boldmath$w$}\cdot\mbox{\boldmath$\phi$}(\mbox{\boldmath$x$})$ で回帰を行う． ここで， $\mbox{\boldmath$w$}$ の事前分布を $h$ 次元の標準正規分布 $\mbox{\boldmath$w$}\sim {\cal N}({\bf0}, I_h)$ と仮定する ($h$ は特徴空間の次元)． 出力 $y$ も独立に正規分布 ${\cal N}(f_w(\mbox{\boldmath$x$}),\sigma^2)$ に従うとする． 以上のようにすべて正規分布という仮定の下では容易にベイズ推定が解けて， MAP 解は次のように与えられる．

$$f_w(\mbox{\boldmath$x$}) = \sum_{i=1}^n \alpha_i k(\mbox{\boldmath$x$}_i,\mbox{\boldmath$x$}),$$

$$\mbox{\boldmath$\alpha$} = (G + \sigma^2 I_n)^{-1} \mbox{\boldmath$y$}.$$

ただし，$G$ は $k(\mbox{\boldmath$x$}_i,\mbox{\boldmath$x$}_j)$ を並べた行列 (Gram 行列)で， $\mbox{\boldmath$y$} = (y_1,\ldots,y_n)^\top$ である.

このように GP は，ベイズ推定としても基本的なものである． この考え方を拡張したものが Relevance vector machine と呼ばれるモデル である．