音楽音響信号を対象としたメロディーとベースの音高推定
This project is proposed and researched by
Masataka Goto.
English version is here.
本研究では、
複数の楽器音が混在したモノラルの音楽音響信号に対して、
メロディーとベースの音高（基本周波数）を推定する手法を実現した。
従来の音高推定手法や音源分離手法は、
高々三つの音の混合音しか扱うことができず、
市販のCDによるジャズやポピュラー音楽の音響信号には有効に機能しなかった。
我々の手法は、
安定に抽出できない基本周波数成分には依存せず、
意図的に制限した周波数帯域
（メロディーは中高域、ベースは低域）
にある高調波成分が支持する最も優勢な音高を求める。
その際、
音源数を仮定せずにあらゆる音高の高調波構造が混在しているとみなして
混合音をモデル化し、
EM (Expectation-Maximization)アルゴリズムにより
各高調波構造が相対的にどれくらい優勢かを推定する。
さらに、
マルチエージェントモデルを導入し、
各エージェントが音高の時間的な軌跡を追跡することで、
最も優勢で安定な音高の軌跡を得ることができる。
本手法に基づくシステムを実装して実験した結果、
市販のCDからサンプリングした実世界の音響信号に対し、
メロディーとベースの音高をリアルタイムに推定できることを確認した。
References:
- Masataka Goto:
A Real-time Music Scene Description System:
Predominant-F0 Estimation for Detecting Melody and Bass Lines
in Real-world Audio Signals,
Speech Communication (ISCA Journal), Vol.43, No.4, pp.311-329,
September 2004.
- Masataka Goto:
A Predominant-F0 Estimation Method for Polyphonic Musical Audio Signals,
Proceedings of
the 18th International Congress on Acoustics
(ICA 2004),
pp.II-1085-1088, April 2004.
(Invited Paper)
- Masataka Goto,
A Predominant-F0 Estimation Method for
Real-world Musical Audio Signals:
MAP Estimation for Incorporating Prior Knowledge
about F0s and Tone Models,
Proceedings of CRAC-2001
(Workshop on Consistent & Reliable Acoustic Cues for Sound Analysis),
September 2001.
- Masataka Goto:
A Predominant-F0 Estimation Method for CD Recordings:
MAP Estimation using EM Algorithm for Adaptive Tone Models,
Proceedings of
the 2001 IEEE International Conference on Acoustics, Speech, and
Signal Processing
(ICASSP 2001),
pp.V-3365-3368, May 2001.
- 後藤 真孝:
"音楽音響信号を対象としたメロディーとベースの音高推定",
電子情報通信学会論文誌 D-II, Vol.J84-D-II, No.1, pp.12-22,
January 2001.
- 後藤 真孝:
"リアルタイム音楽情景記述システム: 全体構想と音高推定手法の拡張",
情報処理学会 音楽情報科学研究会 研究報告 2000-MUS-37-2,
Vol.2000, No.94, pp.9-16, October 2000.
- Masataka Goto:
A Robust Predominant-F0 Estimation Method
for Real-time Detection of Melody and Bass Lines in CD Recordings,
Proceedings of
the 2000 IEEE International Conference on Acoustics, Speech, and
Signal Processing
(ICASSP 2000),
pp.II-757-760, June 2000.
- Masataka Goto:
Music Scene Description: A Predominant-F0 Estimation Method
for Detecting Melody and Bass Lines,
人工知能学会研究会資料 AIチャレンジ研究会, SIG-Challenge-9907-8,
pp.45-52, November 1999.
- Masataka Goto and Satoru Hayamizu:
A Real-time Music Scene Description System:
Detecting Melody and Bass Lines in Audio Signals,
Working Notes of
the IJCAI-99 Workshop on Computational Auditory Scene Analysis,
pp.31-40, August 1999.
- 後藤 真孝:
"実世界の音楽音響信号を対象としたメロディーとベースの音高推定",
情報処理学会 音楽情報科学研究会 研究報告 99-MUS-31-16,
Vol.99, No.68, August 1999.
Back to:
Please E-mail comments and questions to
Masataka GOTO
<m.goto [at] aist.go.jp>
last update: May 11, 2000