[ English | Japanese ]

VocaListener（ぼかりす）: ユーザ歌唱の歌い方を真似る歌声合成パラメータを自動推定するシステム

This project is proposed and researched by Tomoyasu Nakano and Masataka Goto.
twitterアカウント: @VocaListener
twitterハッシュタグ: #vocalis

デモンストレーション動画1: ニコニコ動画 　 YouTube

デモンストレーション動画2: ニコニコ動画 　 YouTube

初めて本ページをご覧になる方は、まずは上記の視聴をお勧めいたします。

Abstract:

　本研究では、歌声合成を使用した音楽制作を支援するために、ユーザの歌唱音声から歌声合成パラメータを自動 推定するシステム VocaListener を提案する。従来、ユーザの歌唱音声から、音高や音量等を推定して歌声合成パラメータと する研究はあったが、歌声合成の条件(歌声合成システムやその音源データ) の違いに対してロバストでなく、入力歌唱を真似 るだけでは、ユーザの歌唱力を超えることが出来ないという問題もあった。そこで VocaListener では、合成された歌唱が入 力歌唱と近くなるように、合成パラメータを反復更新することで、上記の条件の変化へ対処する。さらに、入力歌唱に対して、 音高のずれやビブラートなどの歌唱要素を修正できる支援機能も提供する。

Overview:

　本研究では、合成歌唱を目標歌唱(入力) へ近づける コア技術を VocaListener-core、目標歌唱自体を編集す る技術を VocaListener-plus と呼ぶ。 また、それぞれで必要な要素技術 を VocaListener-front-end と呼ぶ。 図にシステム全体の流れを示す。ユーザは、歌 唱音声とその歌詞を入力として与える(A)。システ ムは、それらの入力に対して分析を行うが、漢字かな 混じり文をかな文字列に変換する際の誤りや、歌詞の 割り当てでフレーズをまたがるような大きな誤りがあ った場合は、ユーザが手作業で訂正する(B, C)。次 に、VocaListener-plus によって、声域を変更したり、 ビブラートの深さ等を調節したりできる(D)。最後に、 VocaListener-core によって、入力歌唱を真似る合成パ ラメータを推定する(E)。この際、歌詞アラインメン ト (歌詞の音節毎の発音開始時刻と音長) の音節境界に誤りが生じていたら、ユーザはその箇 所を指摘して訂正する(F)。最後に、ユーザは推定さ れたパラメータによって合成された歌唱を得る(G)。

Overview of VocaListener
VocaListener の全体像（VocaListener-front-end, VocaListener-plus 及びVocaListener-core） [印刷用PDF]

Demonstrations:

本研究のデモンストレーション動画の一部を、 【初音ミク】 PROLOGUE 【ぼかりす】 (YouTube) に掲載させて頂きました（2008年4月28日）。



本研究のデモンストレーション動画の一部を、 【鏡音リン】 Game of Love 【ぼかりす】 (YouTube) に掲載させて頂きました（2008年6月6日）。



本研究のデモンストレーション動画の一部を、

に掲載させて頂きました（2008年9月22日）。



本研究のデモンストレーション動画の一部を、 【巡音ルカ】 大漁船 【ぼかりす】 (YouTube) に掲載させて頂きました（2009年2月6日）。



本研究のデモンストレーション動画の一部を、

に掲載させて頂きました（2009年4月27日）。



本研究のデモンストレーション動画の一部を、 【メグッポイド】 大漁船 【ぼかりす】 (YouTube) に掲載させて頂きました（2009年7月7日）。



本研究のデモンストレーション動画の一部を、 【巡音ルカ】 Jullia 【ぼかりす】(英語版) (YouTube) に掲載させて頂きました（2009年8月4日）。



本研究のデモンストレーション動画の一部を、

に掲載させて頂きました（2009年8月5日）。



本研究のデモンストレーション動画の一部を、

に掲載させて頂きました（2010年1月5日）。



本研究のデモンストレーション動画の一部を、

に掲載させて頂きました（2010年4月30日）。



本研究のデモンストレーション動画の一部を、

に掲載させて頂きました（2010年9月13日）。



本研究のデモンストレーション動画の一部を、

に掲載させて頂きました（2010年10月4日）。



本研究のデモンストレーション動画の一部を、

に掲載させて頂きました（2011年2月2日）。



本研究のデモンストレーション動画の一部を、

に掲載させて頂きました（2011年4月28日）。

Acknowledgments:

本研究の一部は、科学技術振興機構CrestMuse プロジェ クトによる支援を受けました。本研究では、 ヤマハ株式会社の開発した Vocaloid 及び Vocaloid 2 の応用商品である、 クリプトン・フューチャー・メディア株式会社の 「KAITO」, 「MEIKO」（以上、Vocaloid）、 「初音ミク」, 「鏡音リン」, 「鏡音レン」, 「巡音ルカ」, 「初音ミクAppend」, 「鏡音リン・レン・アペンド」（以上、Vocaloid 2） を使用させていただきました。 また、同じく Vocaloid 2 の応用商品である 株式会社インターネットの 「がくっぽいど」, 「メグッポイド」, 「Lily」, 「ガチャッポイド」、 AH-Softwareの 「氷山キヨテル」, 「歌愛ユキ」, 「SF-A2開発コードmiki」, 「猫村いろは」、 ヤマハ株式会社の 「VY1」, 「VY2」、 株式会社キューンレコードの 「開発コードPIKO 歌手音ピコ」 を使用させていただきました。 本研究に対し有益な議論 をして頂き、VSTi ホストの実装へご助言を頂いた藤原弘将 氏(産総研) に感謝致します。また、音響モデルの適応などで ご助言を頂いた緒方淳氏(産総研)、歌声合成に関して有益 なご意見を頂いた齋藤毅氏(産総研) に感謝致します。

本研究では、権利者の許可を得て、 楽曲「Packaged」（作詞・作曲・編曲: kz 様）、 RWC 研究用音楽データベース (ポピュラー音楽 RWC-MDB-P-2001、音楽ジャンル RWC-MDB-G-2001) を使用しました。

Reference:

  1. 後藤 真孝, 中野 倫靖, 梶田 秀司, 松坂 要佐, 中岡 慎一郎, 横井 一仁:
    "人間の歌い方を真似る歌声合成システムVocaListenerとロボット顔動作生成システムVocaWatcher",
    システム/制御/情報(システム制御情報学会誌),
    Vol.56, No.5, pp.249-255, May 2012.
  2. Masataka Goto, Tomoyasu Nakano, Shuuji Kajita, Yosuke Matsusaka, Shin'ichiro Nakaoka, and Kazuhito Yokoi:
    "VocaListener and VocaWatcher: Imitating a Human Singer by Using Signal Processing",
    In Proceedings of the 2012 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2012),
    pp.5393-5396, March 2012.
    [PDF]
  3. 中野 倫靖, 後藤真孝:
    VocaListener：ユーザ歌唱の音高および音量を真似る歌声合成システム,
    情報処理学会論文誌,
    Vol.52, No.12, pp.3853-3867, December 2011.
    [論文PDF]
  4. Tomoyasu Nakano and Masataka Goto:
    VocaListener: A Singing-to-Singing Synthesis System Based on Iterative Parameter Estimation,
    In Proceedings of the 6th Sound and Music Computing Conference (SMC 2009),
    pp.343-348, July 2009.
    [論文PDF]
  5. 中野倫靖, 後藤真孝:
    VocaListener: 事例を与えてインタラクティブに歌声合成できるメタ歌声合成インタフェース,
    情報処理学会 インタラクション 2009 論文集,
    pp.65-66, March 2009.
    [論文PDF]
  6. 中野倫靖, 後藤真孝:
    VocaListener: ユーザ歌唱とその歌詞を用いた歌声合成パラメータの自動推定システム,
    日本音響学会 2008年 秋季研究発表会 講演論文集,
    1-4-5, pp.245-248, September 2008.
    [論文PDF]
  7. 中野倫靖, 後藤真孝:
    音楽情報処理最前線！ 第 1 回: VOCALOIDに歌を真似させるVocaListener（ぼかりす）,
    DTM MAGAZINE,
    Vol.170, pp.72-73, August 2008.
    [記事PDF: 音楽情報処理最前線！からアクセス可能]
  8. 中野倫靖, 後藤真孝:
    VocaListener: ユーザ歌唱を真似る歌声合成パラメータを自動推定するシステムの提案,
    情報処理学会 研究報告 2008-MUS-75,
    Vol.2008, No.50, pp.49-56, May 2008.
    (平成21年度 情報処理学会 山下記念研究賞 受賞)
    [論文PDF] [発表資料PDF]

The copyright of each publication is retained by the corresponding academic society (copyright holder). The IPSJ publications are published on this web site under the copyright guidelines of the IPSJ (in Japanese).

マスメディア報道:

  1. TOKYO MXテレビ 「ガリレオチャンネル」 2008年11月15日(土) 19:00〜19:30
    「歌声はなぜ心に響くのか」
  2. BSジャパン 「世の中進歩堂」 2009年4月12日(日) 20:30〜21:00
    「これが次世代の音楽鑑賞の姿！サビ出し機能搭載の音楽システム登場！」
  3. ITmedia News: 2009年4月27日(月)
    VOCALOID“神調教”技術「ぼかりす」実用化へ、ヤマハと産総研が連携
  4. 日本経済新聞 NIKKEI NET: 2009年4月27日(月)
    ヤマハと産総研、歌声合成パラメータ推定技術「ＶｏｃａＬｉｓｔｅｎｅｒ」の実用化で連携
  5. 日経BP社 日経エレクトロニクス Tech-On!: 2009年4月27日(月)
    「歌声合成を容易に」，産総研が歌声合成ソフト向けパラメーター調整技術を開発
  6. DTM MAGAZINE: 2009年4月27日(月)
    歌声合成パラメーター推定技術VocaListenerを実現
  7. DTM MAGAZINE: 2009年4月27日(月)
    VocaListenerの実用化に向けヤマハと産総研が連携
  8. インプレス INTERNET Watch: 2009年4月27日(月)
    自分の歌い方をまねて「初音ミク」が歌唱、ヤマハと産総研が開発
  9. インプレス BB Watch: 2009年4月27日(月)
    自分の歌い方をまねて「初音ミク」が歌唱、ヤマハと産総研が開発
  10. インプレス AV Watch: 2009年4月27日(月)
    ネット上でVOCALOIDの歌声を自動調整する「Netぼかりす」−ヤマハと産総研が共同開発。NetVOCALOIDとの連携も検討
  11. マイコミジャーナル: 2009年4月27日(月)
    ヤマハと産総研、VOCALOID調教システム「ぼかりす」実用化へ
  12. RBB TODAY: 2009年4月27日(月)
    “歌い方”を聞かせてミクをもっと自然に歌わせる 〜 産総研、新技術「VocaListener」実現
  13. 日経産業新聞: 2009年5月1日(金) 9面
    「産総研 自動で歌声合成 ― 手作業での調整不要に」
  14. NHK教育 「サイエンスZERO」: 2011年2月5日(土)
    「ヒット連発！！あのボーカルソフトの秘密」
  15. ITmedia News: 2011年6月8日(水)
    ヤマハ、よりリアルになった「VOCALOID3」発表　制作ソフト一新、API公開も
  16. GIGAZINE: 2011年6月8日(水)
    「VOCALOID(ボーカロイド)」の新バージョン「VOCALOID3」2011年9月末発売予定、「ぼかりす」も発売予定
  17. インプレス AV Watch: 2011年6月8日(水)
    ヤマハ、歌声合成性能を高めた「VOCALOID3」を9月発売
  18. DTM MAGAZINE: 2011年6月9日(木)
    さらにリアルな歌声合成を実現「VOCALOID3」
  19. BARKS: 2011年6月9日(木)
    「VOCALOID3」が9月末登場！ リアルな歌声合成と使いやすさを獲得、サードパーティも続々参入
  20. ITmedia News: 2011年6月10日(金)
    Mac対応は？　ぼかりすは？　VOCALOID3の秘密を追ってみた
  21. インプレス AV Watch: 2011年6月13日(月)
    進化した「VOCALOID3」の改善点をチェック 〜UI改善、機能拡張など。VOCALOID2との音声比較も〜
  22. マイコミジャーナル: 2011年6月15日(水)
    坂本美雨や声優・喜多村英梨の音源発売を予告 -VOCALOID3発表パーティ
  23. All About: 2011年6月23日(木)
    VOCALOID3が9月末に発売される
  24. 内藤 朗
    内藤先生のDTM豆知識: 第 1 回「ぼかりす」.
    ボカロPライフ.
    Vol.1, pp.108-109, 31 August 2011.
  25. CDJournal.com ニュース: 2011年9月1日(木)
    ヤマハによるVOCALOIDコンピの決定盤が発売！
  26. BARKS: 2011年9月2日(金)
    本家ヤマハから、VOCALOIDコンピの決定盤『THE VOCALOID produced by Yamaha』発売決定
  27. NHK 総合「クローズアップ現代」 2012年2月28日(火) 19:30〜19:56
    「思いが伝わる声を作れ 〜初音ミク 歌声の秘密〜」
    （上記URLにおいて、ぼかりすに関連する放送の一部を視聴でき、放送された内容すべてテキストで閲覧できます。）
  28. 日本放送協会(NHK) Science View 2012年3月11日(日) [NHK WORLD TV] 09:10-09:40（日本時間）
    「Singing Synthesizers: The Technology Behind a Digital Popstar」
  29. ITmedia: 2012年9月18日(火)
    人間の歌い方をボカロで再現する“ぼかりす”、ヤマハが商品化　VOCALOID3向けプラグイン発売
  30. GIGAZINE: 2012年9月18日(火)
    VOCALOIDで手本の歌い方を再現できる「VocaListener(ぼかりす)」10月19日発売
  31. DTM MAGAZINE: 2012年9月18日(火)
    ヤマハが産総研のVocaListenerをVOCALOID3 Job Pluginとして実用化
  32. インプレス AV Watch: 2012年9月18日(火)
    ヤマハ、VOCALOIDで人の声をまねる「ぼかりす」を製品化
  33. 日経プレスリリース: 2012年9月18日(火)
    ヤマハ、実際の歌声から歌い方をまねて再現するボーカロイドソフトを発売
  34. INTERNET Watch: 2012年9月18日(火)
    ヤマハ、VOCALOIDに人の歌い方を真似させる「VocaListener」プラグイン発売
  35. マイナビニュース: 2012年9月18日(火)
    VOCALOIDに人の歌い方をまねさせるプラグイン「ボーカリスナー」
  36. 価格.com - 新製品ニュース: 2012年9月18日(火)
    ヤマハ、実際の歌声を「VOCALOID」でまねて再現するソフト
  37. MdN Design Interactive: 2012年9月19日(水)
    ヤマハ、人間の歌い方をまねて再現できる「VOCALOID3 Job Plugin VocaListener」
  38. BCNランキング: 2012年9月19日(水)
    ヤマハ、人の歌声を「VOCALOID」で再現する「VOCALOID3 Job Plugin VocaListener」
  39. YOMIURI ONLINE（読売新聞）: 2012年9月20日(木)
    ヤマハ、人の歌声を「VOCALOID」で再現するソフト
  40. BARKS: 2012年9月24日(月)
    YAMAHA : 歌い方をまねて再現する「ぼかりす」ついに登場！「VOCALOID3 Job Plugin VocaListener」でより人間らしく自然な歌声合成が可能に
  41. インプレス AV Watch: 2012年9月24日(月)
    人の歌声をボカロが真似る「ぼかりす」ついに発売 〜産総研とヤマハが語る「VocaListener」開発の道のり 〜
  42. 【ゲスト：小山乃舞世、デスおはぎ、かにみそＰ】ドリームクリエイター #63: 2012年10月6日(土)
    テレビ東京 10/11（木）3:05〜3:35
  43. 2.5D: 2012年10月15日(月)
    ぼかりす発売記念公開生放送　〜VOCALOIDの現在
  44. NETOKARU: 2012年10月15日(月)
    喜屋武ちあき、DECO*27ら出演「ぼかりす発売記念公開生放送　〜VOCALOIDの現在」が2.5D＆ニコ生にてライブ配信決定
  45. mFound: 2012年10月15日(月)
    「ぼかりす発売記念公開生放送 〜VOCALOIDの現在」2.5D＆ニコ生にてライブ配信決定！
  46. VOCALOID / ボーカロイド 公式サイト: 2012年10月16日(火)
    ぼかりす発売記念公開生放送　〜VOCALOIDの現在 10/21ソーシャルTV局「2.5D」&ニコニコ公式生放送より生配信決定
  47. アニメ！アニメ！animeanime.jp: 2012年10月16日(火)
    ボカロの入力革命「VocaListener」発売　豪華ゲスト記念トーク、2.5Dとニコ生で配信
  48. DECO*27 OFFICIAL WEBSITE: 2012年10月15日(月)
    10/21(日)「ぼかりす発売記念公開生放送　〜VOCALOIDの現在」に出演決定！
  49. 藤本健の“DTMステーション”: 2012年10月18日(木)
    VocaListener（ぼかりす）で作る人間らしいボーカル合成講座
  50. ITmedia: 2012年10月18日(木)
    VOCALOIDを歌って調教するぼかりす製品版、自分で歌って使ってみました
  51. ガジェット通信: 2012年10月22日(月)
    歌声合成の普及は歴史的必然！　ボカロ入力革命『VocaListener(ぼかりす)』ついに発売
  52. KLOG-クロッグ-: 2012年10月23日(火)
    『ぼかりす発売記念公開生放送 〜VOCALOIDの現在』取材レポ
  53. NETOKARU: 2012年11月12日(月)
    歌声でボカロを入力！？『ぼかりす発売記念公開生放送 〜VOCALOIDの現在』取材レポート
  54. I/O 2012年12月号
    “ぼかりす”入門講座[前編]　基本操作の説明
  55. I/O 2013年1月号
    “ぼかりす”入門講座[後編]　「ぼかりす」の微調整
  56. DTM MAGAZINE 12月号
    VOCALOIDの表現力を大幅に向上するツールが登場!! 〜Interview: Making of VocaListener（ぼかりす）〜.
    Vol.19, No. 12, pp.43-45, 2012.
  57. DTM MAGAZINE 12月号
    録音したボーカルを元にVOCALOIDを"リアルに調声"できる!! 〜Impression: VOCALOID3 Job Plugin VocaListener（ぼかりす）〜
    Vol.19, No. 12, pp.46-49, 2012.
    Web上のデモ動画（YouTube）及びデモ楽曲（WAV）データ
  58. NHK 総合「嵐の明日に架ける旅」 2013年3月27日(水) 20:00-20:43
    (VocaListenerによって合成した歌声が、産総研のロボットHRP-4C未夢の歌唱として使用されました)
  59. 【展示】ロボスクエア, 2013年3月30-31日
    HRP-4C未夢（ミーム）パフォーマンスショー
    (VocaListenerによって合成した歌声が、産総研のロボットHRP-4C未夢の歌唱として使用されました)

産総研広報:

  1. 産業技術総合研究所 広報記事: 2009年4月27日(月)
    「歌声合成パラメーター推定技術 VocaListener（ボーカリスナー）を実現」
  2. 産総研 TODAY: Vol.10(2010), No.06
    「ユーザーの歌い方を真似る歌声合成技術
    歌うことで、より自然なニュアンスで歌声合成できるVocaListener    」

ヤマハ広報:

VocaListenerは産総研が単独で研究開発した技術ですが、ヤマハ株式会社と取り組んだ実用化活動のニュースリリースを以下に示します。
  1. YAMAHA News Release : 2009年4月27日(月)
    「 歌声合成パラメータ推定技術VocaListenerの実用化にヤマハと産総研が連携　〜VOCALOIDで手軽に高品質な歌声を！ 」
  2. YAMAHA News Release : 2011年6月8日(水)
    「 歌声合成ソフト 「VOCALOID」の新バージョン『VOCALOID3』を開発 」
  3. ニュースリリース - ヤマハ株式会社: 2012年9月18日(火)
    実際の歌声から歌い方をまねて再現、より人間らしく自然な歌声合成が可能に ヤマハ ソフトウェア『VOCALOID3 Job Plugin VocaListener』
Tomoyasu Nakano and Masataka Goto