能動学習

通常統計的な学習では，学習サンプルは受動的に与えられるのみで， そこから統計的な構造を抽出するという枠組みで行われる． つまり，未知の確率分布 $p(x)$ に従う $x_1,\ldots,x_N$ が与えられたときに， $p(x)$ を推定するという問題である． 一方，能動学習 (Active learning)[4]というのは， サンプルのうち学習者がコントロール可能な 部分がある学習であり，より効率的に学習を行える可能性がある． 例えば， $x\in {\cal X}=[0,1]$ 上の $y=a x + b +\epsilon$ という １次関数の学習($\epsilon$ はノイズ)で，学習者が $x$ を指定できるとしよう． このとき ランダムに $x$ を選ぶよりは，$x=0,1$ という端の点を選んだほうが $a,b$ の推定精度は明らかに高くなる． この問題は最適実験計画 (optimal experimental design) と呼ばれる 分野で古くから研究されてきた．

本稿の文脈で見れば，探索点 $x\in\cal X$ は自由に選ぶことが出来るので， 能動学習によって，少ないサンプル点から問題の確率的な構造を 学習することが可能になると期待される．

上の例では「１次関数である」というような， モデル族に関する知識の存在が前提として 必要となる． ただし一般にはそのような知識はないことが多いので， モデル族そのものの探索も必要となる． これは学習理論の研究者なら 誰でも知っているように，モデル選択という難しい問題である． 能動学習の分野でもモデル選択と能動学習を同時に行うという研究は なされているが，実際に適用して能動学習の効果が得られるように することは容易ではない．