早稲田大学理工学部電気・情報生命工学科
「パターン認識」2009年度前半部分
担当:
赤穂
昭太郎
参考URL
講義概要
人間は、学習を通して、現実世界の多様で膨大な情報を類型的なパターンと
して概念に対応付け、それらの関係を知識として蓄積することで、さまざまな
状況に柔軟に対応できる。パターン認識は、人間が生存するための最も基本的
な能力であり、知能の根幹をなしている。最近、犯罪・テロの防止、交通事故
の削減等の「安心・安全で快適な社会」を構築するのための技術開発の重要性
が指摘されている。これらの応用では「人間なら簡単にできるが今のコンピュー
タでは難しい」機能を実現することが重要である。パターン認識は、こうした
課題の解決のための鍵となる技術である。また、インターネットや携帯電話等
が急速に普及し、生活の様々な場面で情報技術が利用されるようになったが、
そうした情報機器と人間との自然なインタフェースを実現するためにもパター
ン認識は重要な役割を担っている。さらには、インターネット上に分散的に蓄
えられた大量のデータの中から意味のある情報を取り出すためのデータマイニ
ングや遺伝子配列とその機能との関連性を抽出するバイオインフォマティクス
等でも、パターン認識が多用されている。パターン認識の実現には、現実世界
の曖昧さや不確かさを扱う必要がある。本講義では、パターン認識および機械
学習の話題について、確率統計的な視点から解説し、人間のような柔軟な知的
情報処理システムを実現するための基礎技術の習得を目指す。
履修の注意
- 線形代数と確率統計の基礎を修得していることが望ましい。
- 教科書は特に指定しない (以下参考書)
- Richard O.Duda, Peter E. Hart, and David G.Stork, ``Pattern Classification,''
Second Edition, John Wiley \& Sons (尾上守夫監訳: 「パターン識別」新技術コミュニケーションズ)
- 大津展之、栗田多喜夫、関田巌著 「パターン認識--理論と応用」、
朝倉書店、1996
- 石井ほか:わかりやすいパターン認識,オーム社
- 麻生ほか:パターン認識と学習の統計学,岩波書店
- 渡辺ほか:学習システムの理論と実現,森北出版
- Mackay: Information theory, inference and learning algorithms,
Cambridge univ. press
- そのほか授業にて適宜指示
- ビショップ著 元田他監訳、「パターン認識と機械学習 下」、
シュプリンガー・ジャパン、2008.
- ビショップ著 元田他監訳、「パターン認識と機械学習 上」、
シュプリンガー・ジャパン、2007.
授業予定
赤穂担当分 (注意: 進度は休講等の状況によって適宜変更される)
- 第1回 (9/28) オリエンテーション
- 第2回 (10/5) 確率モデル
- 第3回 (10/12) 線形モデル
- 第4回 (10/19) 基本的な識別器 (休講予定. 課題は別途指示)
- 第5回 (10/26) カーネル法と正則化
- 第6回 (11/2) いろいろな学習の枠組
- 第7回 (11/9) ベイジアンネットワーク
授業内容の記録
- 第1回 (9/28)パターン認識とは / サンプルからの学習 / パターン認識の歴史と広がり / 特徴抽出と識別の2段階処理
- 第2回 (10/5)特徴抽出とみにくいアヒルの子の定理 / あるなしクイズと汎化能力 / 確率的パターン認識
確率の基本 (確率モデルと基本公式, ベイズの定理, 独立性, 連続確率分布, 正規分布の基本性質)
- 第3回 (10/12)確率モデルの推定(学習) / 最尤推定とMAP推定 (正規分布の場合の計算とそれぞれの利点)
- 第4回 (10/19) 休講
レポート課題 (赤穂担当分)
問題 pdf (詳細はコースナビ参照)
- 提出期限: 11/9 まで. (それ以降の提出は減点の対象とする。
また、最終提出期限は 1/31 とする。)
- 提出方法: (1) コースナビ、(2) 電子メール、(3) 授業後の提出 のいずれか。
ただし、11/9 を過ぎた場合は (2), (3) のみで、(3) は栗田さんに赤穂分の
レポートであることを伝えること。
- 第5回 (10/26)No free lunch 定理 / 生成モデルと識別モデル / 次元の呪いと汎化 (球面集中現象)
基本的な識別器 part 1 (最小二乗識別, テンプレートマッチング, k-nearest neighbor法)
交差検証法とモデル選択 / 情報圧縮の方法の概要 (主成分分析、判別分析、クラスタリングそれぞれ概念だけ)
- 第6回 (11/2)基本的な識別器 part 2 (決定木, ナイーブベイズ法)
パターン認識のためのプログラム言語紹介 (R, matlab, numpy(python))
カーネル法 (カーネル最小二乗, 正則化, 凸最適化, サポートベクトルマシン途中まで)
参考文献追加:
- 第7回 (11/9)カーネル法続き (サポートベクトルマシン、凸二次計画法)
集団学習 (多数決、バギング、ブースティング)
多クラス分類 (1 vs all, 1 vs 1, many vs many)
ベイジアンネット概要 (グラフと確率)
栗田さん担当分
- 第8回 (11/16) パターン認識のための多変量データ解析手法
- 第9回 (11/23) 線形識別関数の学習とニューラルネット
- 第10回 (11/30) 汎化性の評価と特徴選択
- 第11回 (12/7) クラスタリング
- 第12回 (12/14) 進化論的計算
- 第13回 (12/21) パターン認識の応用(顔検出・顔認識)
- 第14回 (1/18) 授業理解の確認。確認方法は授業中に指示する。
過去の資料 (注意:
2008 年度までは栗田さんが前半,赤穂が後半を担当していましたので
2009 年度は内容が異なります)
質問、レポート提出先アドレス: s .akaho アトマーク aist .go .jp まで