線形の手法に Representer 定理の正則化項を考えれば，基本的に何でも カーネル化することができる． そこで多くの多変量解析の手法 (主成分分析， 判別分析など) がカーネル化された[13]． ただし，そこで問題となるのは カーネルの形になるだけではなく，SVM が持っていたようなスパース性や 効率的な学習アルゴリズムの存在をも保持しているかどうかという点にある．
また従来の手法である最近傍法，局所線形回帰などの方法も カーネル法の仲間とみなすこともできるが[10]， そうみなすことによってどのような新たな知見が出るかがポイントとなるであろう．
一方，カーネル ICA (独立成分分析)[5] は少々変わったカーネルの 使い方をしている． カーネル ICAでは線形の ICA を非線形化するわけではない． ICA は線形変換ではあるが損失関数 (高次の相関など) の計算が厄介である． そこでカーネル正準相関分析[1]を用いることにより，損失関数を 計算する方法を通じて ICA の問題を解いている． この方法は他のカーネルマシンとは異なるアプローチである点で興味深い．