収集データと特徴抽出

以上述べてきた学習を実際の画像と音声に対して実験を行った． ここでは収集したデータおよび特徴抽出法について説明する． 基本的には 色のついた数字のブロックをカメラで撮影し，属性に関する発話をマイクから録音した． まず，画像と音声を別々に採集し，学習アルゴリズムのシミュレーションの際に 組合せて学習セットを作ることにした．

特徴抽出は情報源の種類に依存してしまうが，本論文の枠組みでは， 次元の大きさがそろっていることと，次元ができるだけ低く抑えられつつ 必要な情報は落ちていないことが重要となる．