[ English | Japanese ]

口（くち）ドラム認識手法とそのドラム譜入力システムへの応用

Voice Drummer: 口ドラムでドラムを叩く楽譜入力インタフェース

This project is proposed and researched by Tomoyasu Nakano, Jun Ogata, Masataka Goto, and Yuzuru Hiraga.

VoiceDrummer VoiceDrummer VoiceDrummer

Demonstrations:

VoiceDrummer Demo
[VoiceDrummer Demonstration]
Song: RWC-MDB-P-2001

Abstract:

本研究では、口ドラムの擬音語表現を示し、口ドラムに対応するドラムパターンを自動的に認識できることを実験によって示す。口ドラム認識手法は、最も良い実験条件において92.0%の認識率を得た。

口ドラムとは、人がドラムの音を「ドンタンドドタン」のように、擬音語で真似た音声である。従来、音高変化を持つ楽器の歌唱表現としてハミングが研究されていたが、解析の対象は音高が中心であり、その知見や手法は、音色の違いが中心的な要因となる口ドラムには適用できなかった。口ドラム認識が実現できれば、口ドラムによるドラム譜入力や、ドラムパートに着目した音楽情報検索などへの応用が期待できる。

本研究では、口ドラムの音声データの収集と、人がドラムパターンをどのように口ドラムとして歌うかの調査を目的とした心理実験(口ドラム表現実験)について述べる。ここで、ドラムパターンとは、1小節を最小単位とするドラムスの演奏パターンを指す。本論文では、対象とするドラムパターンは、ドラム音で最も重要なBass Drum (BD)とSnare Drum (SD)のみで構成され、音は二つ同時に鳴らないものとした。口ドラム表現実験では、19歳から31歳の男女17名の被験者(打楽器演奏経験者2名)による口ドラムの歌唱を収録して分析した。口ドラム表現実験によって、「発音間隔の違いやドラムパターンの違いによって擬音語が変化することがある」、「休符を発声する場合がある」などの擬音語表現に関する新たな知見が得られた。

続いて、口ドラムとドラムパターンデータベース中の全パターンを比較し、口ドラムと音響的に最も近いドラムパターンを推定する口ドラム認識手法について述べる。具体的には、まず、口ドラムと全ドラムパターンの全擬音語系列を比較して最も尤度の高い楽器名の並び(シーケンス)と発音開始時刻を得た後、シーケンスの発音開始時刻が最も類似しているドラムパターンを最終的な認識結果として出力した。口ドラム認識実験は、異なる音響モデルと発声辞書を組み合わせた、以下の4種類の条件で評価した。

実験の結果、(A)58.5%、(B)58.5%、(C)85.0%、(D)92.0%の認識率を得た。

提案手法により口ドラム認識が実用可能となったので、口ドラムによる楽譜入力インタフェースVoiceDrummerを構築した。VoiceDrummerには、口ドラムによるドラムパターンの入力(楽譜入力モード)と既存の楽曲のドラムパートを口ドラムで差し替える編曲(編曲モード)の二つを実装した。さらに、練習しながら口ドラムを学習させることで認識率を上げることができる歌唱者適応(練習適応モード)も実装した。

Acknowledgments:

本研究では、RWC 研究用音楽データベース (ポピュラー音楽 RWC-MDB-P-2001)を使用しました。

本研究の口ドラム表現実験に関してご助言をして頂いた山本那美氏、 口ドラム表現実験に参加していただいた被験者の方々に感謝いたします。

Reference:

  1. 中野 倫靖:
    歌唱理解及び歌唱表現の解明とその応用システム構築に関する研究,
    博士論文, 筑波大学, 194p., March 2008.
  2. 中野 倫靖, 緒方淳, 後藤真孝, 平賀譲,
    口ドラム認識手法とそのドラム譜入力システムへの応用,
    情報処理学会論文誌,
    Vol.48, No.1, p.386-397, 2007.
    [論文PDF]
  3. Tomoyasu Nakano, Masataka Goto, Jun Ogata, and Yuzuru Hiraga:
    Voice Drummer: A Music Notation Interface of Drum Sounds Using Voice Percussion Input,
    in Proceedings of the 18th Annual ACM Symposium on User Interface Software and Technology (UIST2005), Demos.
    pp.49-50, 2005.
    [Paper PDF]
  4. 浜中雅俊, 李昇姫, 池月雄哉, 石原一志, 北原鉄朗, 野池賢二, 中野 倫靖, 梶克彦, 岡良典, 平田圭二, 松田周, 青木忍, 上田健太郎:
    デモンストレーション：若手による研究紹介II,
    情報処理学会 音楽情報科学研究会 研究報告 2005-MUS-61-5,
    vol.2005, no.82, pp.27-33, 2005.
  5. 中野 倫靖, 後藤真孝, 緒方淳, 平賀譲:
    Voice Drummer: 口ドラムでドラムを叩く楽譜入力インタフェース,
    情報処理学会 インタラクション2005論文集 (インタラクティブ発表),
    p.101-102, 2005.
  6. Tomoyasu Nakano, Jun Ogata, Masataka Goto, and Yuzuru Hiraga:
    A Drum Pattern Retrieval Method by Voice Percussion,
    in Proceedings of the 5th International Conference on Music Information Retrieval (ISMIR2004),
    pp.550-553, 2004.
    [Paper PDF]
  7. 中野 倫靖, 緒方淳, 後藤真孝, 平賀譲:
    口ドラム認識に基づくドラムパターン検索手法,
    日本音響学会平成16年度秋季研究発表会講演論文集,
    2-6-14, pp.801-802, 2004.
  8. 中野 倫靖, 緒方淳, 後藤真孝, 平賀譲:
    口ドラムによるドラムパターン検索手法,
    情報処理学会 音楽情報科学研究会 研究報告 2004-MUS-55-8,
    vol.2004, no.41, pp.45-50, 2004.

The copyright of each publication is retained by the corresponding academic society (copyright holder). The IPSJ publications are published on this web site under the copyright guidelines of the IPSJ (in Japanese).

Tomoyasu Nakano, Jun Ogata, Masataka Goto, and Yuzuru Hiraga.