学習データ作成

画像と音声のデータからペアを作成する． 画像データは，120 クラスあるが，それらの各クラスについて 29 個の採取データから画像特徴ベクトルを 10 個ランダムに抽出し， 1200 個のデータセットを作成した． それぞれの画像に対して，その画像のすべての 属性に対応する音声特徴ベクトルを採取した音声データの中から ランダムに抽出し，対応づけてペアを作った． つまり，例えば 2 属性の実験では ``赤の大きい 3'' の画像について ``あか''， ``さん'' の音声データを対応させて 2 つのペアを作った (3 属性の実験では ``大きい''を含めて 3 つのペアを作った)． こうして 1200 $\times$ 属性数 だけのペアを学習データとして用意した． 以下でこのようにして作った学習データセットを DataSet(1) と呼ぶことにする．

DataSet(1) は各クラスについてのすべての属性に対する教示を含んでいるが， 必ずしもすべての属性に対する教示を含まない場合の性能を見るために， DataSet(1) から属性ごとにランダムに教示データを間引いた学習データセット， DataSet(0.8), DataSet(0.6), DataSet(0.4) を作成した． それぞれのデータセットは DataSet(1) から 20%，40%，60% のデータを 間引いたものである． 具体的には，画像と音声の組合せで (120 $\times$ 属性数) 個あるクラスからランダムにクラスを 20%, 40%, 60% 選んで， それぞれのクラスに対応するデータを 10 個づつまとめて削除した． これらの学習データセットでは，例えば ``赤の大きい 3'' という画像 についてのすべての教示(あか，おおきい，さん)が含まれているとは限らない．