発声を伴った頭部ジェスチャ認識

只今、工事中

3次元音声ポインティングデバイス

研究内容

従来、カメラで撮影したユーザの動画像を処理することで頭部方向や頭部ジェスチャを認識する手法が一般的であったが、提案法では3次元音声ポインティングデバイス（マイクロフォンアレイ）で収録したユーザ音声から音源である口の位置を定位し、その静的な位置から発声時の頭部方向を推定し、その動的な移動軌跡から発声を伴った頭部ジェスチャを認識する。

アプリケーション例

１．3次元ポインティング音声インタフェース
２．電動車いすの操作インタフェース
３．情報家電の操作インタフェース

関連文献

Akira Sasou, "Powered Wheelchair Control Using Acoustic-Based Recognition of Head Gesture Accompanying Speech," Proc. of Interspeech 2011, Aug. 2011

Akira Sasou, Yasuharu Hashimoto, Katsuhiko Sakaue, "Acoustic Head Gesture Recognition and Its Applications," Proc. of Auditory-Visual Speech Processing, AVSP2010, Oct. 2010.

Akira Sasou, Yasuharu Hashimoto, Katsuhiko Sakaue, "Acoustic-Based Recognition of Head Gestures Accompanying Speech," Proc. of Interspeech 2010, Sep. 2010.

Yasuharu Hashimoto, Akira Sasou, "Development of a 3D Pointing Voice Interface Using a Three-Axis Microphone Array," Proc. of 18th IEEE International Symposium on Robot and Human Interactive Communication, Sept. 2009.

Akira Sasou, "ACOUSTIC HEAD ORIENTATION ESTIMATION APPLIED TO POWERED WHEELCHAIR CONTROL ," Proc. of 2nd International Conference on Robot Communication and Coordination, March 2009.

Akira Sasou, "Head-orientation-estimation-integrated speech recognition for the smart-chair," Proc. of 2nd International Symposium on Universal Communication (ISUC2008), pp.482-489, Dec. 2008.