早稲田大学理工学部電気・情報生命工学科

「パターン認識」2008年度後半部分

=>前半部分（栗田さん担当）講義資料

=>朱鷺の杜Wiki

参考図書

第1回 (12/1)

• パターン認識概説
• 特徴抽出とパターン識別
• 特徴抽出：醜いアヒルの子の定理
• さまざまな手法：No free lunch theorem
• 汎化と確率的情報処理：あるなしクイズ
• 確率統計の基礎復習 (ベイズの公式)
• 練習問題:
  確率 a でかかる病気 X がある。
  検査 A は病気 X にかかっている人に対し 確率 1-b で陽性、確率 b で陰性となる。
  一方病気 X にかかっていない人には確率 b で陽性、確率 1-b で陰性となる。このとき、

  (1) 検査 A で陽性になった人が病気 X にかかっている確率を求めよ

  (2) ランダムに選んだ人の検査 A の結果が陽性である確率を求めよ

第2回 (12/8)

• 汎化と次元次元の呪い (球面集中現象・超立方体の分割)
• ベイズ vs 頻度主義
• 生成モデル vs 識別モデル
• 線形モデル vs 非線形モデル
• 正規分布の性質 (中心極限定理、最大エントロピー法と正規分布)
• 練習問題:
  (1) 平均 a, 標準偏差 b の正規分布のエントロピーを求めよ

  (2) [0,1] 上の一様分布に従う 6 個の確率変数の和の平均と分散を求めよ

第3回 (12/15)

• 基本的な手法とその特徴 ( Nearest-Neighbor 法, 決定木, ナイーブベイズ法)
• カーネル法の基礎
• 練習問題:
  (x_1, y_1) = (-1, 0), (x_2, y_2) = (0, 0), (x_3, y_3) = (a, b) の３点を考える。
  (1) f(x) = w_1 x
  (2) f(x) = w_1 x + w_2 x^2
  の二つの関数をあてはめるとき、
  (1/3) Σ_{i=1}^3 (f(x_i) - y_i)^2 + λ Σ_{j=1}^{1 or 2} w_j^2
  を最小にするものを、λ=0, 1 の場合について求めよ

第4回 (12/22)

• カーネル法とその性質 (特徴抽出とカーネル, 正則化)
• サポートベクトルマシン
• 練習問題: 次のいずれかに解答せよ
  (1) 直線 w_1 x_1 + w_2 x_2 = 0 に点 (a,b) から下した垂線の長さを求めよ
  (2) 一般に Σ_{i=1}^n w_i x_i = 0 に (a_1,...,a_n) から下した垂線の長さを求めよ

レポート課題

• 提出期限 1/19 の講義時まで. それまでに提出できなかった場合はメールのみ受付.
  メールの受け付け締切日1/31まで. 宛先はページの一番下を参照のこと）
レポート提出締め切りました(2/1)
• 注意：インターネットを活用することは推奨するが、ページを 切り張りしたようなレポートには低い評価しか与えない。
  独創性が高く、かつ、具体性のあるレポートを高く評価する。

第5回 (1/19)

• 分類器の組み合わせ(多クラス分類, バギングとブースティング))
• 能動学習
• 強化学習／ベイジアンネットと動的計画法

• 練習問題:
  次の関数を f(5,7) と呼び出すとき、いくつが返ってくるか

  
  int f(int m, int n)
  {
    if(m < 1) return 1;
    if(n < 1) return 1;
    return a * f(m, n-1) + b * f(m-1, n) + f(m-1, n-1);
  }
  

  ただし、a,b が大きいとき f(5,7) は巨大な数になることが判明したため、 実際には f(3,3) 等ある程度のところまで計算したものでよいものとしました。

2007年度後半

2006年度後半

2005年度後半