Representer 定理

さて，識別関数 $f_w(\mbox{\boldmath$x$})=\mbox{\boldmath$w$}\cdot\mbox{\boldmath$\phi$}(\mbox{\boldmath$x$})$ に戻って考えてみよう． (2) 式の内積の観点からは特徴量を $\mbox{\boldmath$\phi$}(\mbox{\boldmath$x$})=(\sqrt{\gamma_j}\psi_j(\mbox{\boldmath$x$}))$ と取るのが自然であり， これによって $\mbox{\boldmath$\phi$}(\mbox{\boldmath$x$})$ と $\mbox{\boldmath$\phi(\mbox{\boldmath$y$})$}$ の内積は $k(\mbox{\boldmath$x$},\mbox{\boldmath$y$})$ となる． 一方，RKHS の観点からは $\mbox{\boldmath$\phi$}(\mbox{\boldmath$x$})=k(\,\cdot\,,\mbox{\boldmath$x$})$ とし， $\cal F$内積をとることもできる． この場合も $\mbox{\boldmath$\phi$}(\mbox{\boldmath$x$})$ と $\mbox{\boldmath$\phi(\mbox{\boldmath$y$})$}$ の$\cal F$内積が $k(\mbox{\boldmath$x$},\mbox{\boldmath$y$})$ となることから， 両者の表現は等長同形であることが導ける．

後者の表現を取るとすれば，重み $\mbox{\boldmath$w$}$ は $\cal X$ 上のいくつかの点 $\mbox{\boldmath$y$}_1,\ldots,\mbox{\boldmath$y$}_m$ (無限個かも知れない)を用いて $\mbox{\boldmath$w$}=\sum_{l=1}^m a_l k(\,\cdot\,,\mbox{\boldmath$y$}_l)$ と表現することができる (RKHS の要素の双対表現である)． すると， $\mbox{\boldmath$w$}$ と $\mbox{\boldmath$\phi$}(\mbox{\boldmath$x$})$ との$\cal F$内積は

$$f_w(\mbox{\boldmath$x$})=\langle\mbox{\boldmath$w$},\mbox{\... ...\sum_{l=1}^m a_l k(\mbox{\boldmath$y$}_l, \mbox{\boldmath$x$})$$

となり，関数 $f_w$ がやはり RKHS の要素となることがわかる． 以上の準備をもとに本節の目的であった定理を述べる．

定理 2 (Representer 定理)   $k$ を Mercer カーネルとし，学習用サンプルは ${\cal X}\times{\cal Y}$ から生成された $n$ 個の点 $(\mbox{\boldmath$x$}_i,y_i), i=1,\ldots,n$ とする． $({\cal X}\times{\cal Y}\times\Re)^n$ 上の実数値関数 $G_{\rm emp}$ と $\Re$ から $[0,\infty)$ への狭義単調増加関数 $G_{\rm reg}$ が与えられた とする． $k$ の定める RKHS を $\cal F$ とおくと，正則化問題

$$\mathop{\mbox{minimize }}_{f\in\cal F} G_{\rm emp}(((\mbox... ...$}_i)))_{i=1,\ldots,n}) + G_{\rm reg}(\Vert f\Vert _{\cal F})$$

の解 $f\in\cal F$ はサンプル点におけるカーネル関数の重み付き和

$$f(\mbox{\boldmath$x$}) = \sum_{i=1}^n \alpha_i k(\mbox{\boldmath$x$}_i,\mbox{\boldmath$x$})$$

で表される．

もちろん，SVM のときは正則化項が $\Vert\mbox{\boldmath$w$}\Vert^2 = \Vert f_w\Vert^2_{\cal F}$ なので 定理の条件を満たしているわけだが， SVM 以外にもかなり広いクラスの問題に対して適用可能である． いろいろなバリエーションについては 6 節で代表的な ものを紹介する．