[ Back ]

歌声・音声分析合成のためのF0適応多重フレーム統合分析に基づく
スペクトル包絡と群遅延の推定法

This project is proposed and researched by Tomoyasu Nakano and Masataka Goto.

F0適応多重フレーム統合分析 F0適応多重フレーム統合分析 F0適応多重フレーム統合分析 F0適応多重フレーム統合分析

Abstract:

本稿では、音声（歌声及び話声）の高性能な分析と高品質な合成のために、 音声信号からそのスペクトル包絡と群遅延を高い精度と時間分解能で推定する手法を、 F0適応多重フレーム統合分析と名付けて提案する。 従来、スペクトル包絡推定に関する研究は数多くなされてきたが、 適切な包絡の推定は依然困難な課題である。 また群遅延を合成に活用する研究があったが、ピッチマークと呼ばれる時刻情報が必要であった。 本研究では、まず、全時刻（全サンプリング点）について、F0 に適応させた短い時定数の窓を用いてFFTを行い、 F0適応スペクトルを推定する。 次に、分析時刻毎に近傍の複数フレームからF0適応スペクトルと群遅延を統合して、 最終的なスペクトル包絡と群遅延を得る。 スペクトル包絡の推定性能は、14種類の音サンプル中13サンプルにおいて、 対数スペクトル距離が2種類の既存手法のいずれかよりも低く、8サンプルにおいて最も低かった。 また群遅延を保存して合成できることを確認した。

Demonstrations:

発表資料PDF (13MB) もご参照ください。

Demo
単一のF0適応窓による分析（スペクトルの谷が発生）
上：分析対象の歌声波形（点線）と、F0適応窓によって切り出した波形（実線）
下：F0適応窓によって切り出した単一波形の振幅スペクトル

Demo
多重フレーム統合分析による分析（どこで分析してもスペクトルの谷が埋まる）
上：分析対象の歌声波形（点線）と、F0適応窓によって切り出した波形（実線）
下：F0適応窓によって切り出した複数波形の振幅スペクトルを重畳

Demo
単一のF0適応窓による分析（最大包絡に対応する群遅延が相対的に滑らかでピークを消去できる）
上：分析対象の歌声波形（点線）と、F0適応窓によって切り出した波形（実線）
下：F0適応窓によって切り出した単一波形の群遅延

Demo
多重フレーム統合分析による分析（最大包絡に対応する群遅延は相対的に滑らか。ピークを消去できる）
上：分析対象の歌声波形（点線）と、F0適応窓によって切り出した波形（実線）
下：F0適応窓によって切り出した複数波形の群遅延を重畳（最大包絡に対応する群遅延を緑で描画）

Acknowledgments:

本研究では、RWC 研究用音楽データベース (音楽ジャンル RWC-MDB-G-2001, 楽器音 RWC-MDB-I-2001)、 AISTハミングデータベース を使用しました。

本研究の一部は、科学技術振興機構OngaCREST プロジェクトによる支援を受けました。

Reference:

  1. Tomoyasu Nakano, Masataka Goto,
    VocaRefiner: An Interactive Singing Recording System with Integration of Multiple Singing Recordings,
    Proceedings of the Sound and Music Computing Conference 2013 (SMC 2013), pp.115-122
    August 2013.
    [PDF] [The Best Paper Award]
  2. Tomoyasu Nakano, Masataka Goto,
    A Spectral Envelope Estimation Method Based on F0-Adaptive Multi-Frame Integration Analysis,
    Proc. SAPA-SCALE 2012, pp.11-16
    September 2012.
    [論文PDF (7MB)]
  3. 中野 倫靖, 後藤 真孝,
    歌声・音声分析合成のためのF0適応多重フレーム統合分析に基づくスペクトル包絡と群遅延の推定法,
    情報処理学会 音楽情報科学研究会 研究報告, Vol.2012-MUS-96, No.7, pp.1-9
    August 2012.
    [論文PDF (13MB)][発表資料PDF (13MB)]

The copyright of each publication is retained by the corresponding academic society (copyright holder). The IPSJ publications are published on this web site under the copyright guidelines of the IPSJ (in Japanese).

Tomoyasu Nakano and Masataka Goto.