カーネル密度推定，RBF

カーネルを使った学習では SVM などと並んでよく用いられるのが， ノンパラメトリックな密度推定の代表であるカーネル密度推定と， ニューラルネットモデルの一種と考えることもできる RBF ネットワークモデル である． ここではそれらについて簡単に触れておこう．

どちらも SVM などと同じく正則化の枠組みから導出されるものである． Representer 定理では，特別な形の正則化項を RKHS の枠組みの中で考えたが， 一般の場合の最適解は，正則化オペレータの Green 関数 (Hilbert-Schmidt 展開) を求めることに帰着される．

これを密度関数の場合に適用したのがカーネル密度推定であるが， 一般にこの場合のカーネルは半正定値である必要はないので，RKHS の枠組み からはみ出すことも正則化項の設計の仕方によってはあり得る．

RBF の場合は， $\mbox{\boldmath$x$}$ の空間でのシフトに対する不変性を仮定して， 正則化問題を解くことにより動径基底関数 (Radial Basis Function) がサンプル 点にあるような解が得られる．通常は基底の数を減らすために， RBF ネットワークでは基底関数自身がさらなる最適化の対象となる． このほか平滑化スプラインも同様の枠組みに含まれる．