発声を伴った頭部ジェスチャ認識による電動車いす操作

研究内容

手が不自由でジョイスティックの操作が困難なユーザを対象に、電動車いす操作用インタフェースの研究開発を行なっています。これまでに開発した音声認識電動車いすは、識別可能な音声コマンドの発声能力を持つユーザを対象にしていました。ここでは、そのような音声コマンドの発声が困難でも、任意の発声を伴いながら頭部を意図するように動かすことができるユーザを対象にしたインタフェースの研究開発を行なっています。

ユーザの発声時にマイクロフォンアレイで定位される音源位置は、おおよそ口の位置に一致します。従って、ユーザが発声している間の頭部の動きを、ビデオカメラなどの視覚情報を使わなくても、音響的に追跡することが可能になります。発声内容は、「あー」というような有声音でも、「すー」というような無声音でも、検知可能です。

例えば、発声を伴いながら頭部を右から左へ動かすジェスチャをするとき、マイクロフォンアレイの音源定位により右から左へ遷移する移動軌跡が得られます。この移動軌跡のX-Y座標の時系列から、高次局所相互相関(HLCC)を特徴量として求め、移動軌跡の識別を行っています。「前進」「後退」「右」「左」｢停止」のそれぞれに５つのジェスチャを登録しています。

関連文献

Akira Sasou, "Powered Wheelchair Control Using Acoustic-Based Recognition of Head Gesture Accompanying Speech," Proc. of Interspeech 2011, Aug. 2011

謝辞

この研究の一部は、科研費20700471の助成を受けて実施しました。