早稲田大学理工学部電気・情報生命工学科

「パターン認識」2005年度後半部分

=>前半部分（栗田さん担当）講義資料

第1回 (11/21)

• パターン認識と学習の概要
• あるなしクイズとパターン認識 (汎化と確率・統計手法)
• 特徴選択と主観性 (醜いアヒルの子の定理)
• 確率統計の基礎(ベイズの公式，最尤推定，MAP 推定，事後予測分布)

第2回 (11/28)

• 確率統計の基礎復習
• 次元の呪いと汎化能力(表面集中現象，次元と分類)
• 正規分布(線形性，誤差分布，中心極限定理，最大エントロピー)
• 線形手法(主成分分析と判別分析, 特異値分解)

第3回 (12/5)

• 2次元を例とした基本アルゴリズムの説明
• 次元圧縮： 主成分分析と判別分析(復習)
• 識別アルゴリズム： Nearest neighbor 法，部分空間法， ナイーブベイズ法，決定木，線形サポートベクトルマシン

第2回レポート課題 （提出期限 1/16 の講義時まで）

自分の研究課題 (現在取り組んでいるものがあればそれを， なければ興味があるものについて仮想的に考えてよい)において， パターン認識 (意志決定・診断・知識発見を含む)の問題を抽出し， それに関して以下のような観点から考察せよ． 問題の記述，問題固有の事前知識は何か， どのようなパターン認識技術が使えるか， どのような困難がありどのように工夫して解決するかなど．

12/12 は休講です

第4回 (12/19)

• 統計処理のための言語案内 Splus/R, matlab/octave/scilab
• サポートベクトルマシン (一般の場合：マージン，２次計画，カーネルトリック)
• ラベルなしデータ学習 (EM アルゴリズム，混合分布モデル)

第5回 (1/16)

• パターン認識のための参考文献案内(下記参照)
• 多クラス識別法
• 能動学習(質問によるサンプル選択)
• 強化学習(アクション，報酬の導入，マルコフ決定過程)
• ベイジアンネットワーク(有向非循環グラフ，確率推論アルゴリズム)

レポート提出期限について

1/16 までに提出できなかった場合，特例として， メールによる受付けのみ行います． subject 欄に [waseda] と記入の上，レポートの電子ファイルを， メールに添付し， 1/23 中に届くように下記のアドレスまで送付してください． 学籍番号・氏名の記入を忘れずに． メール提出の場合は，受け取り確認の返信を行いますので， 必ず確認してください．

レポート提出締め切りました(1/24)

パターン認識のための参考文献 (授業で挙げていないものも含みます)

• 石井ほか：わかりやすいパターン認識，オーム社： 少々古いが基本的なパターン認識技術全般をわかりやすく学べる
• Duda et al (尾上訳) パターン識別，新技術コミュニケーションズ： パターン認識の百科全書的な本 (英語の訳本)
• 麻生ほか：パターン認識と学習の統計学，岩波書店： パターン認識全般の概略とサポートベクトルマシン， アンサンブル学習の二つの話題についての教科書
• 渡辺ほか：学習システムの理論と実現，森北出版： サポートベクトルマシン，ベイジアンネット，アンサンブル学習， 能動学習など学習に関する最新の話題を学べる
• Mackay: Information theory, inference and learning algorithms, Cambridge univ. press: 情報理論を軸として学習に関する基本を学べる．