[ English | Japanese（日本語） ]

VocaListener（ボーカリスナー）で歌うサイバネティックヒューマン HRP-4C 未夢（ミーム）

VocaWatcher (ぼかうお): ユーザの歌い方を真似ることが可能なロボットの顔表情合成システム

梶田 秀司 1 ／ 中野 倫靖 2 ／ 後藤 真孝 2 ／ 松坂 要佐 3 ／ 中岡 慎一郎 1 ／ 松本 吉央 4 ／ 横井 一仁 1

1 産業技術総合研究所 知能システム研究部門 ヒューマノイド研究グループ
2 産業技術総合研究所 情報技術研究部門 メディアインタラクション研究グループ
3 産業技術総合研究所 知能システム研究部門 インタラクションモデリング研究グループ
4 産業技術総合研究所 知能システム研究部門 サービスロボティクス研究グループ

Email: vocawatcher [at] m.aist.go.jp
twitterアカウント: @VocaWatcher

デモンストレーション動画:　 ニコニコ動画 　 YouTube

初めて本ページをご覧になる方は、まずは上記の視聴をお勧めいたします。

デモ展示情報:

メディア報道、記事一覧:
  1. THE WALL STREET JOURNAL: Japan's Next Pop Idol is a Robot? (2010/10/6)
  2. THE WALL STREET JOURNAL: 未来の日本のアイドルはロボット？ (2010/10/6)
  3. GIGAZINE: 人の声や表情をお手本により自然に歌えるようになった美少女ロボ「未夢」が初音ミクの声で歌うムービー (2010/10/6)
  4. ITmedia News: CEATEC JAPAN 2010：美少女ロボ「HRP-4C未夢」と「ぼかりす」を結ぶ産総研内コラボ「ぼかうお」とは？ (2010/10/6)
  5. マイコミジャーナル: CEATEC JAPAN 2010 - 今年のHRP-4Cは歌って踊る! セイコちゃんもすごいぞ (2010/10/7)
  6. ロボコンマガジン: CEATEC2010に行ってきました (2010/10/7)
  7. MSN産経ニュース: 【シーテックみどころ】「歌うロボ」登場　産総研 (2010/10/7)
  8. 時事通信: 人型ロボットが人気＝実用性重視の米社も−シーテック (2010/10/7)
  9. 産経新聞8面（全国版）: "人間離れ技術に喝采"(2010/10/8)
  10. 産経新聞（大阪版）: "歌手顔負け"(2010/10/8)
  11. BBC News: Singing androids and robot teddies at Ceatec (2010/10/08)
  12. BBC One: "Breakfast" (2010/10/09 07:00 TV broadcast in UK)
  13. BBC News: "Click" (the BBC's flagship technology programme) (2010/10/09 11:30, 2010/10/10 04:30, 11:30, 2010/10/11 00:30, 2010/10/14 03:30 / TV broadcast in UK)
  14. BBC World News: "Click" (the BBC's flagship technology programme) (2010/10/09 and 10/10 / TV broadcast in over 200 countries)
  15. robonable (ロボナブル): 産総研、人のように歌唱するヒューマノイド公開、歌声と表情の自動生成技術により実現 (2010/10/11)
  16. DigInfo TV: より自然な歌唱が可能になった女性型ロボット HRP-4C (2010/10/12)
  17. RBB TODAY: 自然な歌声と表情でうたう女性ロボット「HRP-4C」がデモ展示 (2010/10/12)
  18. DigInfo TV: HRP-4C Humanoid Robot now sings even more naturally (2010/10/13)
  19. Mail Online: Female robot learns to 'sing' by copying human singer (2010/10/14)
  20. web R25: 人間型ロボット「未夢」ちゃん　初音ミクの声で歌公開 (2010/10/15)
  21. Tech News Daily: Freaky! Fembot Sings, Mimicking Pop Stars (2010/10/15)
  22. PhysOrg.com: Introducing Japan’s new singing robot (w/ Video) (2010/10/15)
  23. Wired.com Underwire: Video: Tuneful Japanese Robot Mimics Real Singers (2010/10/16)
  24. WIRED.jp Archives: 日本の歌う少女ロボ(動画) (2010/10/16)
  25. ガジェット通信: 人間らしく歌い上げるロボット『HRP-4C未夢』の秘密は”無意識”だった (2010/10/20)
  26. CifraNews（ロシア）(2010/10/20)
  27. 森山和道の「ヒトと機械の境界面」: YouTubeのアクセス解析からヒューマノイド・ロボット・コンテンツの可能性を探る (2010/10/29)
  28. 森山和道, CEATEC JAPAN 2010 "産総研製、VocaListenerで歌う HRP-4C 未夢", ロボコンマガジン, No.73, p.43, 2011.1. (2010/12/15 発行)
  29. NHK教育 サイエンスZERO: 「ヒット連発！！あのボーカルソフトの秘密」(2011/2/5)
  30. ITmedia ねとらぼ: 2011国際ロボット展：産総研の美少女ロボ・未夢が初音ミクの声で「PROLOGUE」を歌っていた (2011/11/1)
  31. NHK総合 ゆうどきネットワーク: ゆうどきライブ　「過去最大！最新ロボットが集結」 (2011/11/11)
  32. RocketNews24: Singing Humanoid Robot Has Cute Plump Cheeks, Could Use a New Wardrobe ? (2011/11/12)
  33. TBSテレビ 王様のブランチ: 最新ロボットの豆知識 (2011/11/19)
  34. 日本放送協会(NHK) Science View 2012年3月11日(日) [NHK WORLD TV] 09:10-09:40（日本時間）
    「Singing Synthesizers: The Technology Behind a Digital Popstar」(2012/3/11)
  35. BSフジ ガリレオX: 表情の進化学　ロボットにどんな顔をもたせるか？ 12:30-13:00 (2015/4/26), 再放送 11:30-12:00 (2015/5/3)
Overview of VocaListener
VocaListener で歌うサイバネティックヒューマン HRP-4C 未夢 [印刷用PDF]

研究のポイント:

  1. サイバネティックヒューマン HRP-4C がより自然な歌声と表情で歌唱可能に
  2. 人の歌唱をお手本に自然な歌声を自動生成する技術VocaListener（ボーカリスナー, 略して「ぼかりす」）をロボットで初めて使用
  3. 人の歌唱をお手本にロボットの顔動作を自動生成する技術VocaWatcher（ボーカウォッチャー, 略して「ぼかうお」）を新規開発　

研究のねらい:

ロボット技術のエンターテインメント産業への展開を図るために、時間のかかる割には人らしい自然さを実現することが難しかった、人間型ロボットの歌唱動作の高度化に挑戦しています。従来、ロボットに歌わせるには、(1) 歌声合成ソフトウェアに楽譜と歌詞を入力して調整を行う、(2) 人の動きと歌詞を参考に人手でロボットの動きを作成する、という作業が必要でした。本研究では、人の歌唱を録画したデータから、ロボットの歌声と表情を自動的に生成する技術を開発し、人の歌い方をお手本に真似て歌うシステムを実現しました。

サイバネティックヒューマンHRP-4C未夢
サイバネティックヒューマンHRP-4C未夢

研究内容:

VocaListener は、録音された歌唱音声の事例からその歌い方（声の高さと大きさ）を真似た歌声を、市販の歌声合成ソフトウェアを用いて合成する技術です。この技術の枠組みを援用し、録画された歌唱時の顔の運動データから、サイバネティックヒューマンHRP-4Cの顔表情の動作パターンを自動生成する技術VocaWatcherを開発しました。具体的には、歌い手の顔の各部位の運動をもとに、それにできるだけ近い動きを作り出すロボットの制御コマンドを推定します。さらにVocaListenerによる歌声とVocaWatcherによる表情とが正確に同期するように制御することで、HRP-4Cが自然に歌唱できるようになりました。

歌声合成技術VocaListener
歌声合成技術VocaListener

表情合成技術VocaWatcher
表情合成技術VocaWatcher

Demonstrations:

CEATEC JAPAN 2010での新規性は以下の三つです。

本研究のデモンストレーション動画を、

に掲載させて頂きました。

VocaWatcher Demo
VocaWatcher デモ (使用楽曲: RWC-MDB-P-2001 No.7「PROLOGUE」、合成音源「初音ミク」、お手本歌唱「サリヤ人 様」)


本研究のデモンストレーション動画を、

に掲載させて頂きました（2010年10月12日）。

VocaWatcher Demo02a
VocaWatcher デモ (使用楽曲: 「Packaged」、作詞・作曲・編曲: 「kz 様」、合成音源「メグッポイド」、お手本歌唱「サリヤ人 様」)

VocaWatcher Demo02b
VocaWatcher デモ (「逢路（おうろ）」、作詞・作曲・編曲: 「ルシュカ 様」、合成音源「VY1」、お手本歌唱「ルシュカ 様」)

技術の詳細:

VocaListener（ぼかりす）の技術的な詳細に関しては、 「VocaListener: ユーザ歌唱の歌い方を真似る歌声合成パラメータを自動推定するシステム」をご覧ください。ただし、今回新規開発した「ブレス音の自動検出＆合成技術」については、今後、学会発表予定です。

VocaWatcher（ぼかうお）の技術的な詳細に関しては、今後、学会発表予定です。

VocaListener で歌うサイバネティックヒューマン HRP-4C 未夢 p.1 VocaListener で歌うサイバネティックヒューマン HRP-4C 未夢 p.2
VocaListener で歌うサイバネティックヒューマン HRP-4C 未夢 p.3 VocaListener で歌うサイバネティックヒューマン HRP-4C 未夢 p.4
VocaListener で歌うサイバネティックヒューマン HRP-4C 未夢 p.5 VocaListener で歌うサイバネティックヒューマン HRP-4C 未夢 p.6
VocaListener で歌うサイバネティックヒューマン HRP-4C 未夢

中長期的な展望:

本研究では「お手本の模倣」を出発点としています。 これは、ロボットの制御パラメータ、歌声合成の制御パラメータの空間で、 「自然さ」をまずはきちんと表現できるようにすべきだと考えているからです。 現在の科学技術は、まだそこが十分には達成できていません。 そして、ひとたびそうしたパラメータ空間内で自然さが表現できれば、 将来の次の段階として、そのモデル化 （コンテキストの時間変化とパラメータ空間内での制御点の時間変化の対応関係の機械学習） が、より適切に実現可能になっていくと考えています。 これにより模倣を越えた新たな表現が可能となります。

また、人間の表現は毎回変動を伴いますが、ロボットの表現は再現性が高く、 様々な実験で統制がとりやすい利点があります。 例えば、視線の制御を停止した場合、あるいは、 あるパラメータ制御にバイアスをかけた場合に、 ロボットが表出する表現がどう変化するか等を探ることもでき、 それ自体が新たな研究プラットフォームになり得ることを期待しています。

ヒューマノイドロボットは多くの人々の関心を惹き付けやすく、 ロボット技術のエンターテインメント産業への展開は、 その関心の高さに裏付けられた有望な応用事例です。 しかし、より長期的には、 将来、ロボットが人々の暮らしの一端を支える時代になったときに、 ロボットが違和感なく人間社会に溶け込めるようにするための技術として、 本研究は寄与していきます。 ロボットにとって人間とのより自然なコミュニケーションは重要な機能であり、 本研究が達成する「自然さ」を実現する技術は、 声の音響信号処理技術や顔の画像処理技術、それらに基づく制御技術と相俟って、 未来社会において求められていく技術になると考えています。

公的研究機関がこうした研究をする重要性については、 本研究所の理事長からのメッセージ （ 座談会「広く研究を駆動する人型ロボット」 のページ末尾の発言） もご覧ください。

Acknowledgments:

本研究では、 ヤマハ株式会社の開発した Vocaloid 2 の応用商品である、 クリプトン・フューチャー・メディア株式会社の 「初音ミク」、 株式会社インターネットの 「メグッポイド」、 ヤマハ株式会社の 「VY1」 を使用させていただきました。

本研究では、権利者の許可を得て、 楽曲「Packaged」（作詞・作曲・編曲: kz 様）、 楽曲「逢路（おうろ）」（作詞・作曲・編曲: ルシュカ 様）、 RWC 研究用音楽データベース(ポピュラー音楽 RWC-MDB-P-2001) を使用しました。

References:

References:

  1. 中野 倫靖, 後藤 真孝, 梶田 秀司, 松坂 要佐, 中岡 慎一郎, 横井 一仁:
    VocaWatcher: ユーザ歌唱の顔表情を真似るヒューマノイドロボットの顔動作生成システム,
    情報処理学会論文誌,
    Vol.55, No.3, pp.1222-1235, March 2014.
    [論文PDF]
  2. 後藤 真孝, 中野 倫靖, 梶田 秀司, 松坂 要佐, 中岡 慎一郎, 横井 一仁:
    "人間の歌い方を真似る歌声合成システムVocaListenerとロボット顔動作生成システムVocaWatcher",
    システム/制御/情報(システム制御情報学会誌),
    Vol.56, No.5, pp.249-255, May 2012.
  3. Masataka Goto, Tomoyasu Nakano, Shuuji Kajita, Yosuke Matsusaka, Shin'ichiro Nakaoka, and Kazuhito Yokoi:
    "VocaListener and VocaWatcher: Imitating a Human Singer by Using Signal Processing",
    In Proceedings of the 2012 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2012),
    pp.5393-5396, March 2012.
    [PDF]
  4. 中野 倫靖, 後藤 真孝, 梶田 秀司, 松坂 要佐, 中岡 慎一郎, 横井 一仁,
    "VocaWatcher: 人間の歌唱時の表情を真似るヒューマノイドロボットの顔動作生成システム,"
    情報処理学会 音楽情報科学研究会 研究報告, Vol.2012-MUS-94, No.6, pp.1-10
    February 2012.
    [PDF][発表資料PDF]
  5. 梶田 秀司, 中野 倫靖, 後藤 真孝, 松坂 要佐, 中岡 慎一郎, 横井 一仁,
    "ヒューマノイドロボットの自然な歌唱動作生成,"
    第29回 日本ロボット学会学術講演会,
    September 2011.
    [PDF]
  6. Shuuji Kajita, Tomoyasu Nakano, Masataka Goto, Yosuke Matsusaka, Shin'ichiro Nakaoka, and Kazuhito Yokoi,
    "VocaWatcher: Natural Singing Motion Generator for a Humanoid Robot,"
    In Proceedings of the 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2011),
    pp.2000-2007, September 2011.
    [PDF][DOI (IEEE Xplore)]

The copyright of each publication is retained by the corresponding academic society (copyright holder). Copyright and Consent Form (IEEE).

Shuuji Kajita, Tomoyasu Nakano, Masataka Goto, Yosuke Matsusaka, Shin'ichiro Nakaoka, Yoshio Matsumoto, and Kazuhito Yokoi.

Copyright (C) 2010 by National Institute of Advanced Industrial Science and Technology (AIST).