音楽音響信号に対するビートトラッキングシステム

Beats Cindy

This project is proposed and researched by Masataka Goto.

English version is here.


ビートトラッキングとは、 人間が音楽に合わせて手拍子を打つように、 曲のビート(4分音符)の位置を認識する技術である。 人間が音楽に合わせて容易に手拍子を打てることからわかるように、 ビートは西洋音楽を理解する上で基本的な概念の一つである。 ビートトラッキングの実現は、 音響信号に対する音楽聴取過程を計算機上で実現する第一段階として重要である。

本研究では、 音楽音響信号に対してリアルタイムに ビートを認識・予測するビートトラッキングシステム (BTS) を実現する。 BTSは、 市販のCompact Discなどから得た複数の楽器音を含む音響信号 (ロック・ポップス)を入力とし、 4分音符に相当するビートを認識する。 その際、ビートの存在する時刻を認識するだけでなく、 そのビートが強拍か弱拍かも判断する。

BTSでは、 複数のエージェントが並列にビートを解釈することで、 あるエージェントの解釈がはずれても、 ビートを見失わずに正しい解釈を出力できる。 また、主要なドラム音の出現位置を検出することにより、 各ビートが強拍か弱拍かを判断する。 本システムは実際に並列計算機AP1000上でリアルタイムに動作し、 ロック・ポップス 45曲中43曲に対してビートトラッキング可能であった。

その後、打楽器音を含まない音楽音響信号に対するビートトラッキングシステムも 既に実現した。

応用例として、 音楽のビートに合わせて踊るCGダンサー``Cindy''も開発してある。


References:

  1. Masataka Goto: An Audio-based Real-time Beat Tracking System for Music With or Without Drum-sounds, Journal of New Music Research, Vol.30, No.2, pp.159-171, June 2001.
    PDF (in a slightly different format)
  2. Masataka Goto and Yoichi Muraoka: Real-time Beat Tracking for Drumless Audio Signals: Chord Change Detection for Musical Decisions, Speech Communication, Vol.27, Nos.3-4, pp.311-335, April 1999.
    PDF
  3. 後藤 真孝: "音楽音響信号を対象としたリアルタイムビートトラッキング", 人工知能学会研究会資料 AIチャレンジ研究会, SIG-Challenge-9801-2, pp.7-14, November 1998.
  4. 後藤 真孝: "音楽音響信号を対象としたリアルタイムビートトラッキング", 平成10年電気関係学会関西支部連合大会 講演論文集, S12-2, p.S65, November 1998.
  5. Masataka Goto and Yoichi Muraoka: An Audio-based Real-time Beat Tracking System and Its Applications, Proceedings of the 1998 International Computer Music Conference, pp.17-20, October 1998.
    PDF
  6. 後藤 真孝: "拍節認識(ビートトラッキング)", bit別冊 コンピュータと音楽の世界 ---基礎からフロンティアまで---, pp.100-116, 共立出版, August 1998.
  7. Masataka Goto and Yoichi Muraoka: Music Understanding at the Beat Level: Real-time Beat Tracking for Audio Signals, In David F. Rosenthal and Hiroshi G. Okuno, editors, Computational Auditory Scene Analysis, pp.157-176, Lawrence Erlbaum Associates, Publishers, 1998.
  8. 後藤 真孝, 村岡 洋一: "音響信号を対象としたリアルタイムビートトラッキングシステム --- コード変化検出による打楽器音を含まない音楽への対応 ---", 電子情報通信学会論文誌 D-II, Vol.J81-D-II, No.2, pp.227-237, February 1998.
  9. Masataka Goto and Yoichi Muraoka: Real-time Rhythm Tracking for Drumless Audio Signals --- Chord Change Detection for Musical Decisions ---, Working Notes of the IJCAI-97 Workshop on Computational Auditory Scene Analysis, pp.135-144, August 1997.
    PDF
  10. Masataka Goto and Yoichi Muraoka: Issues in Evaluating Beat Tracking Systems, Working Notes of the IJCAI-97 Workshop on Issues in AI and Music - Evaluation and Assessment, pp.9-16, August 1997.
    PDF
  11. 後藤 真孝, 村岡 洋一: "音楽音響信号を対象としたビートトラッキングシステム --- 小節線の検出と打楽器音の有無に応じた音楽的知識の選択 ---", 情報処理学会 音楽情報科学研究会 研究報告 97-MUS-21-8, Vol.97, No.67, July 1997.
    PDF
  12. Masataka Goto and Yoichi Muraoka: Beat Tracking based on Multiple-agent Architecture --- A Real-time Beat Tracking System for Audio Signals ---, Proceedings of The Second International Conference on Multiagent Systems, pp.103-110, December 1996.
    PDF
  13. 後藤 真孝, 村岡 洋一: "音響信号に対するリアルタイムビートトラッキングシステム --- 打楽器音を含まない音楽に対するビートトラッキング ---", 情報処理学会 音楽情報科学研究会 研究報告 96-MUS-16-3, Vol.96, No.75, July 1996.
  14. 後藤 真孝, 村岡 洋一: "ビートトラッキングシステムの並列計算機への実装 --- AP1000によるリアルタイム音楽情報処理 ---", 情報処理学会論文誌, Vol.37, No.7, pp.1460-1468, July 1996.
  15. 後藤 真孝: "計算機は音楽に合わせて手拍子を打てるか? --- リアルタイムビートトラッキングシステム ---", bit, Vol.28, No.3, pp.4-11, 共立出版, March 1996.
  16. Masataka Goto and Yoichi Muraoka: A Real-time Beat Tracking System for Audio Signals, Proceedings of the 1995 International Computer Music Conference, pp.171-174, September 1995.
    PDF
  17. Masataka Goto and Yoichi Muraoka: Music Understanding At The Beat Level --- Real-time Beat Tracking For Audio Signals ---, Working Notes of the IJCAI-95 Workshop on Computational Auditory Scene Analysis, pp.68-75, August 1995.
    PDF
  18. 後藤 真孝, 村岡 洋一: "リアルタイムビートトラッキングシステムの並列計算機への実装 --- AP1000によるリアルタイム音楽情報処理 ---", 並列処理シンポジウム JSPP'95 論文集, pp.353-360, May 1995.
  19. Masataka Goto and Yoichi Muraoka: A Beat Tracking System for Acoustic Signals of Music, ACM Multimedia 94 Proceedings (Second ACM International Conference on Multimedia), pp.365-372, October 1994.
    PDF
  20. David Rosenthal, Masataka Goto and Yoichi Muraoka: Rhythm Tracking Using Multiple Hypotheses, Proceedings of the 1994 International Computer Music Conference, pp.85-87, September 1994.
    PDF
  21. 後藤 真孝, 村岡 洋一: "音楽音響信号に対するビートトラッキングシステム", 情報処理学会 音楽情報科学研究会 研究報告 94-MUS-7-8, Vol.94, No.71, August 1994.
    PDF
  22. 後藤 真孝, 村岡 洋一: "並列計算機によるリアルタイム音響情報処理 --- 音楽音響信号に対するビートトラッキングシステム ---", 情報処理学会 第49回全国大会, 4P-9, September 1994.
  23. 後藤 真孝, 村岡 洋一: "音楽の音響信号に対するビートトラッキングシステム", 情報処理学会 第48回全国大会, 4T-4, March 1994.

If you have any problem in printing, please let me know. I will send you copies of my papers.


Masataka Goto's other projects:

Back to:


Please E-mail comments and questions to
Masataka GOTO <m.goto [at] aist.go.jp>

All pages are copyrighted by the author. Unauthorized reproduction is strictly prohibited.
last update: February 18, 2002



並列処理シンポジウム JSPP'95 論文集, pp.353-360, May 1995.

Title:

Authors:

Abstract:


ACM Multimedia 94 Proceedings, pp.365-372, October 1994.

Title:

Authors:

Abstract:


Proceedings of the 1994 International Computer Music Conference, pp.85-87, September 1994.

Title:

Authors:

Abstract:


情報処理学会 音楽情報科学研究会 研究報告 93-MUS-7-8, Vol.94, No.71, August 1994.

Title:

Authors:

Abstract: