各情報源における情報表現

音声信号，画像信号などパターン的なデータは 往々にしてさまざまな変動や次元数の変化をもたらす． 本研究では， データの変動を最小限に抑えるとともに， 正準相関分析などの多変量解析手法を適用するために，次元数の正規化を行っている． 本研究では用いていないが，隠れマルコフモデルなどを用いた表現も次元数を 一定にするために有力な表現法である．

また，モダリティによって提示されるパターンの長さやタイミングは 異なるのが普通である． 更に，どこからどこまでが一つのパターンかということも未知であることが 多い． 本研究ではこの同期と切り出しの問題がすべて解かれているとして 出発しているが，実際の場面への適用では重要な問題となる．