はじめに

$d$ 次元の入力 $\mbox{\boldmath$x$}\in\Re^d$ から出力 $y\in\{-1,1\}$ への 2 値の識別問題 の学習を考えよう． ここで学習サンプルは $(\mbox{\boldmath$x$}_1,y_1),\ldots,(\mbox{\boldmath$x$}_n,y_n)$ と与えられているとする．

「 $\mbox{\boldmath$x$}_i$ と同じ入力に対しては $y_i$ を， 未知サンプルに対しては $1$ と答える」という識別器が考えられるが， これではあまりにひどい． これを解決するために正則化と いう考えを使うことができる． カーネルという考え方も基本的には 正則化がベースにある． 直感的にはサンプルの周りで「なまし」を やることに対応し，例えば最近傍法のような識別器が できる． ただ，どのサンプルに一番近いかを判定するのには結構手間がかかる．

一方，「 $\mbox{\boldmath$x$}$ の線形和をとってその符号を答える」という識別器も 考えられる． これは線形識別器 (パーセプトロン) と呼ばれ，計算量も $\mbox{\boldmath$x$}$ の次元が小さい間は大したことないが，サンプルが 複雑に配置されているとサンプルの識別すら怪しくなり性能的には物足りない であろう．

サポートベクタマシンはここで挙げた両方の識別器に深く関係しているが， 結果として計算量も大したことなく，性能は最近傍法並という識別器を 実現している．