再生核ヒルベルト空間

Mercer カーネル $k(\mbox{\boldmath$x$},\mbox{\boldmath$y$})$ はそれに対応する基底関数 $\psi_j(\mbox{\boldmath$x$})$ と $\psi_j(\mbox{\boldmath$y$})$ の内積で書くことができることは すでに述べた((2) 式)． ところが識別関数にでてくる $\mbox{\boldmath$w$}$ についてはきちんと考えて いなかった． Mercer カーネルの定める特徴空間を数学的に考えると， 再生核ヒルベルト空間というものが得られる．

基底関数の線形和で書けるような関数の集合 $\cal F$ を考え， その中の二つの要素 $f(\mbox{\boldmath$x$}) = \sum_{j=1}^\infty c_j \psi_j(\mbox{\boldmath$x$})$, $g(\mbox{\boldmath$x$}) = \sum_{j=1}^\infty d_j \psi_j(\mbox{\boldmath$x$})$ を考えよう． 少しトリッキーであるが，これらの関数の間の内積を新たに次で定義する．

$$\langle f,g\rangle = \sum_{j=1}^\infty {c_j d_j\over \gamma_j}.$$

これを(2)式の内積と区別するために $\cal F$内積と呼ぶことにする． カーネル関数 $k(\mbox{\boldmath$x$},\mbox{\boldmath$y$})$自身, $\mbox{\boldmath$y$}$ を固定すれば $\gamma_j\psi_j(\mbox{\boldmath$y$})$ を係数とする $\cal F$ の要素とみなせる． そこで，上記の $f$ との $\cal F$内積を取ってみると

$$\langle f,k(\,\cdot\,,\mbox{\boldmath$y$})\rangle = \sum_{j... ..._j(\mbox{\boldmath$y$})\over\gamma_j} = f(\mbox{\boldmath$y$})$$

という関係式が導かれる． これは， $k(\mbox{\boldmath$x$},\mbox{\boldmath$y$})$ が $\cal F$ の中で まるで $\delta$ 関数のように働くことを意味し，$f$ を再生するという 意味で再生核ヒルベルト空間 (RKHS)と呼ばれる．