音楽音響信号に対するビートトラッキングシステム
This project is proposed and researched by
Masataka Goto.
English version is here.
ビートトラッキングとは、
人間が音楽に合わせて手拍子を打つように、
曲のビート(4分音符)の位置を認識する技術である。
人間が音楽に合わせて容易に手拍子を打てることからわかるように、
ビートは西洋音楽を理解する上で基本的な概念の一つである。
ビートトラッキングの実現は、
音響信号に対する音楽聴取過程を計算機上で実現する第一段階として重要である。
本研究では、
音楽音響信号に対してリアルタイムに
ビートを認識・予測するビートトラッキングシステム (BTS) を実現する。
BTSは、
市販のCompact Discなどから得た複数の楽器音を含む音響信号
(ロック・ポップス)を入力とし、
4分音符に相当するビートを認識する。
その際、ビートの存在する時刻を認識するだけでなく、
そのビートが強拍か弱拍かも判断する。
BTSでは、
複数のエージェントが並列にビートを解釈することで、
あるエージェントの解釈がはずれても、
ビートを見失わずに正しい解釈を出力できる。
また、主要なドラム音の出現位置を検出することにより、
各ビートが強拍か弱拍かを判断する。
本システムは実際に並列計算機AP1000上でリアルタイムに動作し、
ロック・ポップス
45曲中43曲に対してビートトラッキング可能であった。
その後、打楽器音を含まない音楽音響信号に対するビートトラッキングシステムも
既に実現した。
応用例として、
音楽のビートに合わせて踊るCGダンサー``Cindy''も開発してある。
References:
- Masataka Goto:
An Audio-based Real-time Beat Tracking System
for Music With or Without Drum-sounds,
Journal of New Music Research, Vol.30, No.2, pp.159-171, June 2001.
(in a slightly different format)
- Masataka Goto and Yoichi Muraoka:
Real-time Beat Tracking for Drumless Audio Signals:
Chord Change Detection for Musical Decisions,
Speech Communication, Vol.27, Nos.3-4, pp.311-335, April 1999.
- 後藤 真孝:
"音楽音響信号を対象としたリアルタイムビートトラッキング",
人工知能学会研究会資料 AIチャレンジ研究会, SIG-Challenge-9801-2,
pp.7-14, November 1998.
- 後藤 真孝:
"音楽音響信号を対象としたリアルタイムビートトラッキング",
平成10年電気関係学会関西支部連合大会 講演論文集, S12-2,
p.S65, November 1998.
- Masataka Goto and Yoichi Muraoka:
An Audio-based Real-time Beat Tracking System
and Its Applications,
Proceedings of the 1998 International Computer Music Conference,
pp.17-20, October 1998.
- 後藤 真孝:
"拍節認識(ビートトラッキング)",
bit別冊 コンピュータと音楽の世界 ---基礎からフロンティアまで---,
pp.100-116, 共立出版, August 1998.
- Masataka Goto and Yoichi Muraoka:
Music Understanding at the Beat Level:
Real-time Beat Tracking for Audio Signals,
In David F. Rosenthal and Hiroshi G. Okuno, editors,
Computational Auditory Scene Analysis, pp.157-176,
Lawrence Erlbaum Associates, Publishers, 1998.
- 後藤 真孝, 村岡 洋一:
"音響信号を対象としたリアルタイムビートトラッキングシステム
--- コード変化検出による打楽器音を含まない音楽への対応 ---",
電子情報通信学会論文誌 D-II, Vol.J81-D-II, No.2, pp.227-237,
February 1998.
- Masataka Goto and Yoichi Muraoka:
Real-time Rhythm Tracking for Drumless Audio Signals
--- Chord Change Detection for Musical Decisions ---,
Working Notes of
the IJCAI-97 Workshop on Computational Auditory Scene Analysis,
pp.135-144, August 1997.
- Masataka Goto and Yoichi Muraoka:
Issues in Evaluating Beat Tracking Systems,
Working Notes of
the IJCAI-97 Workshop on Issues in AI and Music
- Evaluation and Assessment,
pp.9-16, August 1997.
- 後藤 真孝, 村岡 洋一:
"音楽音響信号を対象としたビートトラッキングシステム
--- 小節線の検出と打楽器音の有無に応じた音楽的知識の選択 ---",
情報処理学会 音楽情報科学研究会 研究報告 97-MUS-21-8, Vol.97, No.67,
July 1997.
- Masataka Goto and Yoichi Muraoka:
Beat Tracking based on Multiple-agent Architecture
--- A Real-time Beat Tracking System for Audio Signals ---,
Proceedings of
The Second International Conference on Multiagent Systems,
pp.103-110, December 1996.
- 後藤 真孝, 村岡 洋一:
"音響信号に対するリアルタイムビートトラッキングシステム
--- 打楽器音を含まない音楽に対するビートトラッキング ---",
情報処理学会 音楽情報科学研究会 研究報告 96-MUS-16-3, Vol.96, No.75,
July 1996.
- 後藤 真孝, 村岡 洋一:
"ビートトラッキングシステムの並列計算機への実装
--- AP1000によるリアルタイム音楽情報処理 ---",
情報処理学会論文誌, Vol.37, No.7, pp.1460-1468, July 1996.
- 後藤 真孝:
"計算機は音楽に合わせて手拍子を打てるか?
--- リアルタイムビートトラッキングシステム ---",
bit, Vol.28, No.3, pp.4-11, 共立出版, March 1996.
- Masataka Goto and Yoichi Muraoka:
A Real-time Beat Tracking System for Audio Signals,
Proceedings of the 1995 International Computer Music Conference,
pp.171-174, September 1995.
- Masataka Goto and Yoichi Muraoka:
Music Understanding At The Beat Level
--- Real-time Beat Tracking For Audio Signals ---,
Working Notes of the
IJCAI-95
Workshop on Computational Auditory Scene Analysis,
pp.68-75, August 1995.
- 後藤 真孝, 村岡 洋一:
"リアルタイムビートトラッキングシステムの並列計算機への実装
--- AP1000によるリアルタイム音楽情報処理 ---",
並列処理シンポジウム JSPP'95 論文集, pp.353-360, May 1995.
- Masataka Goto and Yoichi Muraoka:
A Beat Tracking System for Acoustic Signals of Music,
ACM Multimedia 94
Proceedings (Second ACM International Conference on Multimedia),
pp.365-372, October 1994.
- David Rosenthal, Masataka Goto and Yoichi Muraoka:
Rhythm Tracking Using Multiple Hypotheses,
Proceedings of the 1994 International Computer Music Conference,
pp.85-87, September 1994.
- 後藤 真孝, 村岡 洋一:
"音楽音響信号に対するビートトラッキングシステム",
情報処理学会 音楽情報科学研究会 研究報告 94-MUS-7-8, Vol.94, No.71,
August 1994.
- 後藤 真孝, 村岡 洋一:
"並列計算機によるリアルタイム音響情報処理
--- 音楽音響信号に対するビートトラッキングシステム ---",
情報処理学会 第49回全国大会, 4P-9,
September 1994.
- 後藤 真孝, 村岡 洋一:
"音楽の音響信号に対するビートトラッキングシステム",
情報処理学会 第48回全国大会, 4T-4,
March 1994.
If you have any problem in printing, please let me know.
I will send you copies of my papers.
Masataka Goto's other projects:
Back to:
Please E-mail comments and questions to
Masataka GOTO
<m.goto [at] aist.go.jp>
last update: February 18, 2002
Title:
リアルタイムビートトラッキングシステムの並列計算機への実装
--- AP1000によるリアルタイム音楽情報処理 ---
Authors:
Abstract:
本稿では、
並列計算機の音楽情報処理への応用例として、
音楽音響信号に対してリアルタイムにビートを認識するシステムの、
並列計算機への実装について述べる。
本システムでは質が異なる複数の処理を同時に実行する必要があるため、
計算機全体でデータパラレル処理をおこなう実装は適切でない。
本実装では、並列計算機を構成するプロセッサをグループに分け、
各グループに対し、処理の質に応じた4種類の並列処理方式を適用する。
そしてこれらのグループ間でデータを流し、
計算機全体ではパイプライン状にデータを処理する。
本システムは実際に並列計算機AP1000上でリアルタイムに動作し、
30曲中27曲に対してビートトラッキング可能であった。
Title:
A Beat Tracking System for Acoustic Signals of Music
Authors:
Masataka Goto and Yoichi Muraoka
Abstract:
This paper presents a beat tracking system
that processes acoustic signals of music and
recognizes temporal positions of beats in real time.
Musical beat tracking is needed by various multimedia applications such as
video editing, audio editing, and stage lighting control.
Previous systems were not able to deal with acoustic signals
that contained sounds of various instruments, especially drums.
They dealt with either MIDI signals or
acoustic signals played on a few instruments,
and in the latter case, did not work in real time.
Our system deals with popular music
in which drums maintain the beat.
Because our system examines multiple hypotheses in parallel,
it can follow beats without losing track of them,
even if some hypotheses become wrong.
Our system has been implemented on a parallel computer, the Fujitsu AP1000.
In our experiment,
the system correctly tracked beats
in 27 out of 30 commercially distributed popular songs.
Title:
Rhythm Tracking Using Multiple Hypotheses
Authors:
David Rosenthal, Masataka Goto and Yoichi Muraoka
Abstract:
We briefly describe two rhythm-tracking systems,
called, respectively, Machine Rhythm and BTS.
Given a MIDI stream as input,
Machine Rhythm produces an interpretation
that is essentially isomorphic to the rhythmic information
represented in normal musical notation.
The output of the program defines the placement of measures
and assigns rhythmic values (half-note beats, quarter-note beats, etc.)
to each note.
Although Machine Rhythm is not a real-time system,
it processes the MIDI information sequentially,
paving the way for possible future real-time implementations.
The program attempts to handle
some of the more sophisticated rhythm-tracking operations
of which humans are capable,
such as changes from duple to triple meter or changes in tempo.
BTS tracks beats using raw audio signals as input --- in general,
a much more difficult problem than tracking it from MIDI data.
BTS accomplishes this task by leveraging
the fact that for a large corpus of music --- rock and pop songs ---
the beat is indicated with some reliability by the bass and snare drums.
BTS's non-reliance on MIDI data
enables it to handle a broad range of multimedia applications
for which MIDI-based beat-tracking programs cannot be used,
and the fact that it works in real time
enables its application in a variety of live performance situations.
Both Machine Rhythm and BTS
use a similar strategy
for managing uncertain or noisy input data --- namely,
the strategy of pursuing multiple hypotheses.
Title:
Authors:
Abstract:
本稿では、
音楽の音響信号に対してリアルタイムにビートを認識する
ビートトラッキングシステムについて述べる。
従来の研究の多くは、
MIDI信号か少数の楽器で演奏された音響信号を対象にしており、
ドラムスを含む複数の楽器で演奏された音響信号を扱うことはできなかった。
本システムでは、
ロック・ポップスの主にドラムスがビートを刻む曲を対象とする。
複数のエージェントが並列にビートを解釈することで、
あるエージェントの解釈がはずれても、
ビートを見失わずに正しい解釈を出力できる。
また、主要なドラム音の出現位置を検出することにより、
各ビートが強拍か弱拍かを判断する。
並列計算機AP1000上に実装して実験した結果、
30曲中27曲に対してビートトラッキングできた。