音声補完: 言い淀むと助けてくれる新たな音声入力インタフェース

This project is proposed and researched by Masataka Goto and Katunobu Itou.

English version is here.

本研究では、ユーザがある単語を思い出せずに断片だけを発声しても、システム側がその残りを補って入力することを可能にする「音声補完」という新しい音声インタフェース機能を実現した。既にテキストインタフェースでは、ファイル名の入力等で補完の概念が広く受け入れられているが、音声では効果的な補完機能は提案されていなかった。我々は、ユーザが単語発声途中に有声休止(母音の引き延ばし)によって言い淀むと、それを含む補完候補の一覧を見ることができるインタフェースを構築し、労力をかけずに自発的に補完機能を呼び出しながら音声入力することを可能にする。実際に、有声休止検出機能と補完候補作成可能な音声認識機能を備えたシステムを実装して運用し、音声補完の有用性を確認した。本研究での有声休止は、従来の言語情報中心の音声入力インタフェースに導入された、新たな非言語情報のモダリティと捉えることができる。

News! (2001/09/20,27, 10/01,07, 11/13,29):

本研究成果は、 2001年9月20日(木)にプレス・リリースをおこないました。 AIST Today 2001.11 でも紹介しています。

マスメディア報道:

日本経済新聞 2001年9月21日(金) 12版 17面
日刊工業新聞 2001年9月24日(月) 14版 6面
テレビ東京「ワールドビジネスサテライト」 2001年9月25日(火) 23:00～23:45
トレンドたまご (MOVIE)
日本工業新聞 2001年10月1日(月) 13版 2面
(JIJweb)
毎日新聞 2001年10月5日(金) 13版 9面
(毎日新聞ユニバーサロンニュースクリッピング)
週刊「宝島」 2001年11月21日発行, vol.530, p.21
朝日新聞(夕刊) 2001年11月26日(月) 3版 13面

展示(実機デモンストレーション):

2001/10/3-5 RWC2001最終成果展示発表会 (東京ファッションタウン/お台場)
終了しました。多数の方々のご来場ありがとうございました。
2001/10/18 産業技術総合研究所情報処理研究部門オープンハウス (産総研つくばセンター/つくば)
プログラム
実演展示と技術講演会に多数の方々のご来場を頂きありがとうございました。 (イベント報告) (MYCOM PC WEB)

展示風景

Video Clips:

デモンストレーションムービー (MPEG-1 file)
"SpeechCompletion.mpg" (21,243,684 bytes)
デモンストレーションムービー (MPEG-1 file)
"SpeechCompletionShort.mpg" (6,583,892 bytes)
(ショートバージョン: 上記からの抜粋)

Screen Snapshots:

音声フォワード補完

単語の前半がわかっているとき

(1) 「うただー」と入力	(2) 「だー」の有声休止中
(3) 補完候補ウィンドウが回転しながら登場	(4) 「1番」と入力した直後
(5) 1番の候補が輝いて跳躍	(6) 1番の候補「宇多田ヒカル」が認識結果として確定

音声バックワード補完

単語の後半がわかっているとき

(a) 「なんとかー」と入力した直後	(b) 「ゆき」と入力した直後に補完候補ウィンドウが登場
(c) 「1番」と入力して「小柳ゆき」が認識結果として確定

References:

後藤真孝: 解説 "音声補完: 言い淀むと助けてくれる音声インタフェース", 情報処理(情報処理学会誌), Vol.43, No.11, pp.1210-1216, November 2002.
Masataka Goto, Katunobu Itou, and Satoru Hayamizu: Speech Completion: On-demand Completion Assistance Using Filled Pauses for Speech Input Interfaces, Proceedings of the 7th International Conference on Spoken Language Processing (ICSLP-2002), pp.1489-1492, September 2002.
後藤真孝, 伊藤克亘, 秋葉友良, 速水悟: "音声補完: 音声入力インタフェースへの新しいモダリティの導入", コンピュータソフトウェア(日本ソフトウェア科学会論文誌), Vol.19, No.4, pp.10-21, July 2002.
後藤真孝, 伊藤克亘, 速水悟: "音声補完: 単語補完機能の評価", 日本音響学会 2002年春季研究発表会講演論文集, 3-5-3, pp.147-148, March 2002.
後藤真孝, 伊藤克亘, 速水悟: "音声補完の評価", 情報処理学会音声言語情報処理研究会研究報告 2002-SLP-40-4, Vol.2002, No.10, pp.19-26, February 2002.
Masataka Goto, Katunobu Itou, Tomoyosi Akiba, and Satoru Hayamizu: Speech Completion: New Speech Interface with On-demand Completion Assistance, Proceedings of HCI International 2001, Vol.1, pp.198-202, August 2001.
後藤真孝, 伊藤克亘, 秋葉友良, 速水悟: "音声補完: 音声ワイルドカード補完機能の実現", 日本音響学会 2001年春季研究発表会講演論文集, 3-8-2, pp.141-142, March 2001.
後藤真孝, 伊藤克亘, 秋葉友良, 速水悟: "音声補完: 音声入力インタフェースへの新しいモダリティの導入", インタラクティブシステムとソフトウェアVIII 日本ソフトウェア科学会 WISS 2000, 暦本純一 (編), pp.153-162, 近代科学社, December 2000.
後藤真孝, 伊藤克亘, 速水悟: "音声補完: 単語補完ができる新たな音声入力インタフェース", 日本音響学会 2000年秋季研究発表会講演論文集, 2-Q-10, pp.109-110, September 2000.
後藤真孝, 伊藤克亘, 速水悟: "音声補完: ``TAB'' on Speech", 情報処理学会音声言語情報処理研究会研究報告 2000-SLP-32-16, Vol.2000, No.64, July 2000.

Awards:

WISS2000 (第8回インタラクティブシステムとソフトウェアに関するワークショップ) 論文賞受賞, 2000年12月.
WISS2000 (第8回インタラクティブシステムとソフトウェアに関するワークショップ) 発表賞受賞, 2000年12月.
日本音響学会第18回粟屋潔学術奨励賞受賞, 2001年3月.
日本音響学会第5回ポスター賞受賞, 2001年3月.

Back to:

Please E-mail comments and questions to

Masataka GOTO <m.goto [at] aist.go.jp>

All pages are copyrighted by the author. Unauthorized reproduction is strictly prohibited.

last update: September 24, 2002