RBF ネットワークとの関係

RBF ネットワークというのは，$K$ 個の動径基底関数 (Radial Basis Function) と呼ばれる関数 $f_1(\mbox{\boldmath$x$}), \ldots, f_K(\mbox{\boldmath$x$})$ の線形和で定義されるモデル，

$$h(\mbox{\boldmath$x$}) = \sum_{k=1}^K w_k f_k(\mbox{\boldmath$x$}),$$ (2.11)

であり，入力 $x$ に対する出力を学習する 教師付き学習のモデルである[66,27]． ここで動径基底関数というのは，中心 $\mbox{\boldmath$\mu$}_k$ と $\mbox{\boldmath$x$}$ との距離に 依存して決まる関数のことである． 典型的な例は正規分布の密度関数 $f_k(\mbox{\boldmath$x$})=\phi(\mbox{\boldmath$x$}; \mbox{\boldmath$\mu$}_k, V_k)$ で，

$$h(\mbox{\boldmath$x$}) = \sum_{k=1}^K w_k \phi(\mbox{\boldmath$x$}; \mbox{\boldmath$\mu$}_k, V_k),$$ (2.12)

となる． これは，例 1 で示した正規混合分布に 類似した形をしている． ただし，RBF ネットワークは関数を近似するのが目的で あるから，$w_k$ は確率値である必要はなく，すべての実数値を取り得る． 従って，一旦動径基底関数を決めてしまえば，(最小自乗規準の下で) $w_k$ は線形回帰係数として閉じた形で求められる． 一方，混合分布では，たとえ 要素分布が固定されていたとしてもその係数である離散確率 $p_k$ の推定は 繰り返し演算を必要とする (3.4.3 参照)．

一方，パラメータ $\mbox{\boldmath$\mu$}_k$ や $V_k$ の推定は，RBF ネットワークの場合， EM アルゴリズムを用いることができないという点で混合分布よりも推定が 難しい． そこで，準最適な方法として，入力 $\mbox{\boldmath$x$}$ の分布を (EM アルゴリズムなどを 使って) 正規混合分布で推定し，それを動径基底関数として用いるという 手法が用いられることがある． ただし，その方法では入出力関係の学習として最適化されているわけではないので， これを初期値として最急勾配法を用いて最適化を行う場合もある．