音声補完: 言い淀むと助けてくれる新たな音声入力インタフェース

Speech Completion Title

This project is proposed and researched by Masataka Goto and Katunobu Itou.

English version is here.
本研究では、 ユーザがある単語を思い出せずに断片だけを発声しても、 システム側がその残りを補って入力することを可能にする 「音声補完」という新しい音声インタフェース機能を実現した。 既にテキストインタフェースでは、 ファイル名の入力等で補完の概念が広く受け入れられているが、 音声では効果的な補完機能は提案されていなかった。 我々は、 ユーザが単語発声途中に有声休止(母音の引き延ばし)によって言い淀むと、 それを含む補完候補の一覧を見ることができるインタフェースを構築し、 労力をかけずに自発的に補完機能を呼び出しながら音声入力することを可能にする。 実際に、 有声休止検出機能と 補完候補作成可能な音声認識機能を備えたシステムを実装して運用し、 音声補完の有用性を確認した。 本研究での有声休止は、 従来の言語情報中心の音声入力インタフェースに導入された、 新たな非言語情報のモダリティと捉えることができる。


News! (2001/09/20,27, 10/01,07, 11/13,29):

本研究成果は、 2001年9月20日(木)に プレス・リリース をおこないました。 AIST Today 2001.11 でも紹介しています。

マスメディア報道: 展示(実機デモンストレーション):
exhibition 1 exhibition 2 exhibition 3 exhibition 4
展示風景


Video Clips:

  1. デモンストレーションムービー (MPEG-1 file)
    "SpeechCompletion.mpg" (21,243,684 bytes)
  2. デモンストレーションムービー (MPEG-1 file)
    "SpeechCompletionShort.mpg" (6,583,892 bytes)
    (ショートバージョン: 上記からの抜粋)

Screen Snapshots:

音声フォワード補完
単語の前半がわかっているとき
Speech Completion Snapshot
(1) 「うただー」と入力
Speech Completion Snapshot
(2) 「だー」の有声休止中
Speech Completion Snapshot
(3) 補完候補ウィンドウが回転しながら登場
Speech Completion Snapshot
(4) 「1番」と入力した直後
Speech Completion Snapshot
(5) 1番の候補が輝いて跳躍
Speech Completion Snapshot
(6) 1番の候補「宇多田ヒカル」が認識結果として確定

音声バックワード補完
単語の後半がわかっているとき
Speech Completion Snapshot
(a) 「なんとかー」と入力した直後
Speech Completion Snapshot
(b) 「ゆき」と入力した直後に補完候補ウィンドウが登場
Speech Completion Snapshot
(c) 「1番」と入力して「小柳ゆき」が認識結果として確定

References:

  1. 後藤 真孝: 解説 "音声補完: 言い淀むと助けてくれる音声インタフェース", 情報処理(情報処理学会誌), Vol.43, No.11, pp.1210-1216, November 2002.
  2. Masataka Goto, Katunobu Itou, and Satoru Hayamizu: Speech Completion: On-demand Completion Assistance Using Filled Pauses for Speech Input Interfaces, Proceedings of the 7th International Conference on Spoken Language Processing (ICSLP-2002), pp.1489-1492, September 2002.
    PDF Poster PDF
  3. 後藤 真孝, 伊藤 克亘, 秋葉 友良, 速水 悟: "音声補完: 音声入力インタフェースへの新しいモダリティの導入", コンピュータソフトウェア(日本ソフトウェア科学会論文誌), Vol.19, No.4, pp.10-21, July 2002.
  4. 後藤 真孝, 伊藤 克亘, 速水 悟: "音声補完: 単語補完機能の評価", 日本音響学会 2002年春季研究発表会 講演論文集, 3-5-3, pp.147-148, March 2002.
  5. 後藤 真孝, 伊藤 克亘, 速水 悟: "音声補完の評価", 情報処理学会 音声言語情報処理研究会 研究報告 2002-SLP-40-4, Vol.2002, No.10, pp.19-26, February 2002.
  6. Masataka Goto, Katunobu Itou, Tomoyosi Akiba, and Satoru Hayamizu: Speech Completion: New Speech Interface with On-demand Completion Assistance, Proceedings of HCI International 2001, Vol.1, pp.198-202, August 2001.
  7. 後藤 真孝, 伊藤 克亘, 秋葉 友良, 速水 悟: "音声補完: 音声ワイルドカード補完機能の実現", 日本音響学会 2001年春季研究発表会 講演論文集, 3-8-2, pp.141-142, March 2001.
    PDF
  8. 後藤 真孝, 伊藤 克亘, 秋葉 友良, 速水 悟: "音声補完: 音声入力インタフェースへの新しいモダリティの導入", インタラクティブシステムとソフトウェアVIII 日本ソフトウェア科学会 WISS 2000, 暦本 純一 (編), pp.153-162, 近代科学社, December 2000.
    PDF
  9. 後藤 真孝, 伊藤 克亘, 速水 悟: "音声補完: 単語補完ができる新たな音声入力インタフェース", 日本音響学会 2000年秋季研究発表会 講演論文集, 2-Q-10, pp.109-110, September 2000.
    PDF
  10. 後藤 真孝, 伊藤 克亘, 速水 悟: "音声補完: ``TAB'' on Speech", 情報処理学会 音声言語情報処理研究会 研究報告 2000-SLP-32-16, Vol.2000, No.64, July 2000.
    PDF

Awards:

  1. WISS2000 (第8回インタラクティブシステムとソフトウェアに関するワークショップ) 論文賞 受賞, 2000年12月.
  2. WISS2000 (第8回インタラクティブシステムとソフトウェアに関するワークショップ) 発表賞 受賞, 2000年12月.
  3. 日本音響学会 第18回粟屋潔学術奨励賞 受賞, 2001年3月.
  4. 日本音響学会 第5回ポスター賞 受賞, 2001年3月.


Back to:


Please E-mail comments and questions to
Masataka GOTO <m.goto [at] aist.go.jp>

All pages are copyrighted by the author. Unauthorized reproduction is strictly prohibited.
last update: September 24, 2002