[ English | Japanese ]

DanceReProducer: Web上の音楽動画を再利用して新たな音楽動画を自動生成するN次創作支援システム

室伏 空¹/ 中野 倫靖²/ 後藤 真孝² / 森島 繁生¹

¹ 早稲田大学
² 産業技術総合研究所

アブストラクト:

本研究では、 既存の音楽動画の映像部分を、 新たな別の音楽に合うように切り貼りして映像を自動生成し、 かつインタラクティブに編集できるシステム DanceReProducer を実現した。 これによって音楽鑑賞の楽しみ方を拡張し、 誰でも自分の好きな音楽に映像を付与して、視覚的にも楽しむことを可能にした。 音楽動画は、楽曲（音響信号）と映像（画像の時系列）で構成され、 楽曲の内容（リズムやテンポ、印象など）に、 映像が時間的に同期していることが多い。 従来、楽曲に映像を自動付与する研究事例はあったが、 既存の音楽動画を再利用した動画生成はできなかった。 そこで我々は、Web上で公開されている二次創作のダンス動画を多数収集し、 音楽と映像の多様な対応関係を機械学習によってモデル化した。 次に、ユーザが与える入力音楽を分析してテンポや楽曲構造等を自動推定し、 そのテンポに同期し内容が合うように、 収集した動画の映像を切り出して伸縮・連結することでダンス動画を自動生成した。 さらに、その生成結果にユーザが「ダメ出し」するだけで、 誰でも手軽に自分の好みを反映した編集ができる新たなインタラクション技術を実現した。

Demonstrations:

本研究のデモンストレーション動画の一部を、

• DanceReProducerデモンストレーション: インタフェース (YouTube)

Reference:

1. 中野 倫靖，室伏 空, 後藤 真孝, 森島 繁生.
   DanceReProducer：Web上の音楽動画を再利用して新たな音楽動画を自動生成するN次創作支援システム.
   第27回 NICOGRAPH論文コンテスト (NICOGRAPH2011) 論文集. I-2,
   pp.1-8, September 2011.
   [論文PDF]
2. Tomoyasu Nakano, Sora Murofushi, Masataka Goto, and Shigeo Morishima,
   "DanceReProducer: An Automatic Mashup Music Video Generation System by Reusing Dance Video Clips on the Web,"
   In Proceedings of the 8th Sound and Music Computing Conference (SMC 2011),
   pp.183-189, July 2011.
   [Paper PDF]
3. 室伏 空, 中野 倫靖，後藤 真孝, 森島 繁生.
   DanceReProducer：既存のダンス動画の再利用により音楽に合った動画を作成できるシステム.
   第17回 インタラクティブシステムとソフトウェアに関するワークショップ (WISS 2009) 講演論文集.
   pp.63-68, December 2009. (ソネット賞 [金賞] 受賞)
   [論文PDF]
4. 室伏 空, 中野 倫靖，後藤 真孝, 森島 繁生.
   ダンス動画コンテンツを再利用して音楽に合わせた動画を自動生成するシステム.
   情報処理学会 音楽情報科学研究会 研究報告.
   Vol.2009-MUS-81, No.7, pp.1-5, July 2009.
   [論文PDF]

The copyright of each publication is retained by the corresponding academic society (copyright holder). The IPSJ publications are published on this web site under the copyright guidelines of the IPSJ (in Japanese).