[ English | Japanese ]

楽譜情報を用いない歌唱力自動評価手法

MiruSinger: 歌を「歌って/聴いて/描いて」見る歌唱力向上支援インタフェース

This project is proposed and researched by Tomoyasu Nakano, Masataka Goto, and Yuzuru Hiraga.

Singing Skill (grid) Singing Skill (good or poor) MiruSinger

Abstract:

本研究では、原曲を知らない聴取者(評価者)の歌唱力評価について実施した聴取実験について述べる。原曲を知らない条件で調査をするのは、歌唱力の自動評価手法の実現とその応用を視野に入れているためである。楽譜を用いずに歌唱力を自動的に評価できれば、歌唱力向上支援や、歌声合成、音楽情報検索などへの広い応用が期待できる。従来、評価者が原曲を知らない歌唱力評価において、歌唱音声に関する音響学的な考察は行われてきたが、それらの研究は歌唱力の自動評価に直接適用されたり、人間による評価と結びつけて検討されたりすることはなかった。

実施した2種類の聴取実験では、評価者は刺激としての歌唱音声をうまいと感じる順に順位付けした。まず実験1では、評価者が評価する判断基準と評価の安定性を検証する目的で、無伴奏の歌唱を刺激として用いた。また、実験2では、歌唱音声の音高(F0: fundamentalfrequency)が評価にどれだけ寄与しているかを検証する目的で、無伴奏の歌唱音声からF0を抽出して正弦波合成した合成音声を刺激として用いた。実験1の結果、評価者は6種類の特徴に基づいて歌唱力を評価していることが報告され、評価者間の評価に相関があった組の割合は88.9%(p<0.05)であった。実験2では、被験者間の評価に相関があった組の割合は48.6%(p<0.05)であったが、「うまい」と評価された刺激の順位の中央値は、全て、「へた」と評価された刺激の順位の中央値よりも高かった。

原曲を知らない条件でも安定した歌唱力評価結果が得られたことは、歌唱力が歌唱者や曲の旋律に依存せずに評価可能であることを示唆している。そこで、歌唱者の個人性や曲の種別への依存が少ないと考えられる、相対音高とビブラートに着目した歌唱力の自動評価法を提案する。これらの音響特徴量の有効性を、うまい/へたの2クラス識別実験によって検証した結果、600フレーズの歌唱音声で83.5%の識別率を得た。

最後に、聴取実験で得られた歌唱力に関する特徴に基づいて、歌唱力向上を支援するインタフェースMiruSingerについて述べる。従来、歌唱訓練を支援するシステムとして、歌唱者のF0などの音響特徴をリアルタイムに可視化してフィードバックする研究はあったが、市販の音楽CDを課題曲として利用できるものはなかった。MiruSingerは、聴取実験によって得られた特徴のうち、F0(音高の正確性に関する特徴)とビブラート区間(歌唱テクニックに関する特徴)の2種類をリアルタイムに視覚化する。さらに、音楽CDからボーカルパートのF0を自動的に推定して参照データとして利用でき、誤推定されたF0を手作業で修正できる機能も持つ。

Demonstrations:

MiruSinger Demo
[MiruSinger Demonstration]
Song: RWC-MDB-P-2001

Acknowledgments:

本研究では、RWC 研究用音楽データベース (ポピュラー音楽 RWC-MDB-P-2001、音楽ジャンル RWC-MDB-G-2001)、 AIST ハミングデータベース を使用しました。

本研究の聴取実験に関してご助言をして頂いた山本那美氏、 自動評価手法に関して有益な議論をして頂いた亀岡弘和氏、 聴取実験に参加していただいた被験者の方々に感謝いたします。

Reference:

  1. 中野 倫靖:
    歌唱理解及び歌唱表現の解明とその応用システム構築に関する研究,
    博士論文, 筑波大学, 194p., March 2008.
  2. 中野 倫靖, 後藤真孝, 平賀譲,
    楽譜情報を用いない歌唱力自動評価手法,
    情報処理学会論文誌,
    Vol.48, No.1, p.227-236, 2007.
    [論文PDF]
  3. Tomoyasu Nakano, Masataka Goto, and Yuzuru Hiraga:
    MiruSinger: A Singing Skill Visualization Interface Using Real-Time Feedback and Music CD Recordings as Referential Data,
    in Proceedings of the 9th IEEE International Symposium on Multimedia (ISM2007) Workshops,
    Demonstrations, pp.75-76, 2007.
    [Paper PDF]
  4. 中野 倫靖, 後藤真孝, 平賀譲:
    MiruSinger: 歌を「歌って/聴いて/描いて」見る歌唱力向上支援インタフェース,
    情報処理学会 インタラクション2007 論文集 (インタラクティブ発表),
    pp.195-196, 2007. (インタラクティブ発表賞 受賞)
    [論文PDF]
  5. 浜中雅俊, 竹川佳成, 岩井憲一, 高橋直也, 中野 倫靖, 大石康智, 糸山克寿, 北原鉄朗, 吉井和佳:
    デモンストレーション：若手による研究紹介IV,
    情報処理学会 音楽情報科学研究会 研究報告 2006-MUS-67-3,
    vol.2006, no.91, pp.9-14, 2006.
  6. 浜中雅俊, 北原鉄朗, 竹川佳成, 橋田朋子, 元川洋一, 馬場哲晃, 日暮圭, 中野 倫靖, 吉井和佳, 松原正樹, 梶克彦:
    デモンストレーション：若手による研究紹介III,
    情報処理学会 音楽情報科学研究会 研究報告 2006-MUS-66-10,
    vol.2006, no.90, pp.55-62, 2006.
  7. Tomoyasu Nakano, Masataka Goto, and Yuzuru Hiraga:
    An Automatic Singing Skill Evaluation Method for Unknown Melodies Using Pitch Interval Accuracy and Vibrato Features,
    in Proceedings of the International Conference on Spoken Language Processing (Interspeech2006),
    pp.1706-1709, 2006.
    [Paper PDF]
  8. Tomoyasu Nakano, Masataka Goto, and Yuzuru Hiraga:
    Subjective evaluation of common singing skills using the rank ordering method,
    in Proceedings of the 9th International Conference on Music Perception and Cognition (ICMPC2006),
    pp.1507-1512, 2006.
    [Paper PDF]
  9. 中野 倫靖, 後藤真孝, 平賀譲:
    原曲を知らない聴取者による無伴奏歌唱の歌唱力評価,
    音楽知覚認知学会 (JSMPC) 平成18年度春季研究発表会,
    p.11-16, 2006. (日本音楽知覚認知学会 研究選奨 受賞)
  10. 中野 倫靖, 後藤真孝, 平賀譲:
    歌唱力評価の聴取者実験と自動評価手法の検討,
    情報処理学会 音楽情報科学研究会 研究報告 2006-MUS-64-12,
    vol.2006, no.19, pp.65-72, 2006.

The copyright of each publication is retained by the corresponding academic society (copyright holder). The IPSJ publications are published on this web site under the copyright guidelines of the IPSJ (in Japanese).

Tomoyasu Nakano, Masataka Goto, and Yuzuru Hiraga.