Introduction:
Introduction:本研究では、 試聴のための新たな音楽再生インタフェース SmartMusicKIOSK を実現した。 CD販売店の店頭で音楽を短時間試聴する際には、 通常の音楽鑑賞における受動的な聴き方と異なり、 試聴者は早送りを何度も繰り返しながらサビを探すことが多い。 しかし、こうした聴き方に対する支援は従来なかった。 本研究では、 サビの区間や楽曲中で繰り返される区間の先頭へジャンプする機能と、 それらの区間の楽曲中での配置を視覚化する機能を提供する。 これにより、 試聴者が手探りでサビを見つける煩わしい作業を不要にし、 試聴者が能動的に聴きたい場所を探す作業を容易にする。 このような、 インタラクティブに楽曲中の再生位置を変更しながら 所望の箇所を見つけられるインタフェースは、 試聴に限らず、 音楽を選んで利用する一般的な目的で有用である。 上記の機能を自動サビ区間検出手法により実現し、 試聴機として実装・運用した結果、 その有効性を確認した。 従来の音楽再生インタフェースでは、 楽曲単位でしか興味のない音楽を飛ばせなかったのに対し、 SmartMusicKIOSK によって初めて、 楽曲内部の興味のない箇所も容易に飛ばすことが可能になったといえる。
News! (2004/05/28):「SmartMusicKIOSK: サビ出し機能付き音楽試聴機」 の研究が、 Nature、American Institute of Physics のニュースサイトで紹介されました。
マスメディア報道:
News! (2004/05/25):
News! (2003/08/01, 09/09):「SmartMusicKIOSK: サビ出し機能付き音楽試聴機」 の研究が、 2003年8月1日発行の日本経済新聞 朝刊、 2003年9月9日発行の日経流通新聞 で紹介されました。
マスメディア報道:
News! (2003/03/01,07):2003年2月27日に情報処理学会インタラクション2003 でおこなったロングペーパー発表 「SmartMusicKIOSK: サビ出し機能付き音楽試聴機」が、 同年2月27日に ベストペーパー賞 を受賞しました。
マスメディア報道:
Background:店頭でコンパクトディスク(CD)等に記録された音楽を「試聴」するときには、 通常の楽曲全体の受動的な鑑賞とは異なり、聴き手は、 楽曲の再生に能動的に介入して聴きたい部分だけを選びだすという、 音楽との新たなインタラクションをおこなっている。 近年、CD販売店の店頭には、 購入の判断等を目的としてCDを試聴できる音楽試聴機が設置されることが多い。 通常、音楽を聴くときには、その鑑賞が主な目的であるため、 各楽曲を先頭から最後まで通して再生する。 ところが試聴では、自分の探していた楽曲、好みの楽曲であるかどうかを 短時間で判断することが目的であり、 時間的な制約からこうした聴き方をすることは少ない。 例えばポピュラー音楽の場合、楽曲中で一番代表的な盛り上がる主題の部分である サビ (chorus, refrain) を試聴して判断したいと考えることが多い。 そこで試聴者は、イントロを少し聴いた後に、 サビを探しながら早送りボタンを何度も押して途中を飛ばし、 サビを再生するというような特殊な聴き方をする。
しかし、 従来の音楽CDの試聴機には、このような試聴固有の聴き方を支援する機能はなかった。 試聴機は通常のCDプレーヤ相当の再生操作ボタンを持つが、 その中で、早送りと早戻しのボタンしか、サビの部分を探すために利用できなかった。 一方、最近CD販売店に導入され始めたデジタル試聴機では、 ハードディスクあるいはネットワーク経由で楽曲を再生することができる。 しかし、 楽曲の一部分（通常、先頭の30秒か45秒）だけが 機械的に切り出されて収録されているため、 試聴者はサビの部分を必ずしも聴くことはできなかった。
そこで本研究では、 「サビ出し」機能を搭載した音楽試聴機SmartMusicKIOSKを実現した。 試聴者はこの機能のボタンを押すだけで、 サビの先頭へジャンプする（瞬時に早送りする）ことができ、 自分でサビを探す煩わしい作業から解放される。
Interface:
本研究で解くべき問題は、 本来は時間をかけて聴かなければ把握できない音楽に対し、 それを聴く前にどのようにして的確な再生位置の変更を可能にするかである。 そこで、ポピュラー音楽を主な対象と想定して、 以下の二つの解決法を提案する。
Chorus-Section Detection:本研究ではポピュラー音楽の多様な楽曲を扱うため、 サビ固有の音響的な特徴に関する事前情報を一切使わない、 ロバストなサビ区間検出を実現する必要がある。 そこで、 通常はサビ区間が楽曲中で最も多く繰り返されることに着目し、 基本的には、 ある区間の繰り返しを見つけ出し、 最も出現頻度の高い区間を出力する戦略を取る。 しかし、 「繰り返し」と言っても完全に一致する状態で繰り返されることはまれで、 計算機にとっては判断が難しい。
そこで、この問題を解決し、 ポピュラー音楽の音響信号に対して、 サビ区間と繰り返し区間の開始点と終了点を自動検出する手法を実現した。 従来、楽曲の音響信号中に何度も出現するサビのどこか一箇所を、 指定した長さだけ切り出して提示する研究はあったが、 サビ区間の開始点と終了点はわからず、サビの転調も扱えなかった。 本手法は、様々な繰り返し区間の相互関係を調べることで、 楽曲中で繰り返されるすべてのサビ区間を網羅的に検出し、 それらの開始点と終了点を推定できる。 また、転調後でも繰り返しと判断できる類似度を導入することで、 転調を伴うサビも検出できる。 ポピュラー音楽のデータベース（RWC研究用音楽データベース）100曲を用いて 本手法を評価したところ、80曲のサビが検出できた。
Video Clips:
SmartMusicKIOSKのデモンストレーション
1. 従来の典型的な音楽再生インタフェース
2. SmartMusicKIOSK: using NEXT CHORUS button
3. SmartMusicKIOSK: using PREV SECTION and NEXT SECTION buttons
4. SmartMusicKIOSK: touching directly on a section
5. SmartMusicKIOSK: using NEXT TRACK and NEXT CHORUS buttons
SmartMusicKIOSKのデモンストレーション
Screen Snapshots:
| 「サビの区間の頭出し(NEXT CHORUS)」ボタン |
(A-1) 「再生」ボタンを押して再生を開始 |
(A-2) そのまま再生中 |
(A-3) 「サビの区間の頭出し」ボタンを押して後方のサビ区間の先頭へジャンプ |
(A-4) 少し再生してから、 さらに「サビの区間の頭出し」ボタンを押して後方のサビ区間の先頭へジャンプ |
(A-5) さらに「サビの区間の頭出し」ボタンを押して後方のサビ区間の先頭へジャンプ |
(A-6) 「サビの区間の頭出し」ボタンを最後のサビ区間以降で押すと、最初のサビ区間の先頭へジャンプ |
| 「次の楽曲構造の区間の頭出し(NEXT SECTION)」ボタン |
|
(B-1) 「再生」ボタンを押して再生を開始 |
(B-2) そのまま再生中 |
(B-3) 「次の楽曲構造の区間の頭出し」ボタンを押して直後の区間の先頭へジャンプ |
(B-4) 少し再生してから、 さらに「次の楽曲構造の区間の頭出し」ボタンを押して直後の区間の先頭へジャンプ |
(B-5) さらに「次の楽曲構造の区間の頭出し」ボタンを押して直後の区間の先頭へジャンプ |
| 「前の楽曲構造の区間の頭出し(PREV SECTION)」ボタン |
|
(C-1) 「再生」ボタンを押して再生を開始 |
(C-2) そのまま再生中 |
(C-3) 「前の楽曲構造の区間の頭出し」ボタンを押して直前の区間の先頭へジャンプ |
(C-4) さらに「前の楽曲構造の区間の頭出し」ボタンを押して直前の区間の先頭へジャンプ |
Conclusion:音楽再生のためのインタフェースは、 CDプレーヤや計算機上のメディアプレーヤの登場後も、 典型的な再生操作ボタン群のまま改良されてこなかったが、 本研究では、そのインタフェースを発展させ、 新たな音楽再生インタフェース SmartMusicKIOSK を提案した。 SmartMusicKIOSKは、従来の楽曲単位での操作体系に対し、 楽曲内部の区間単位での操作体系が追加されたものと位置付けられる。 CDプレーヤーの登場で、 興味のない曲をボタンひと押しで瞬時に飛ばすことが初めて可能になったが、 SmartMusicKIOSKでは、 興味のない楽曲構造上の区間をボタンひと押しで瞬時に飛ばすことを 初めて可能にしたといえる。 こうして原曲の時系列に沿わずに、 「楽曲中の好きなところを聴きたいように聴ける」 ようになったメリットは大きく、 試聴以外の様々な目的でも有用である。 本研究をきっかけに、 音楽再生インタフェースの機能全体が、 改めて再検討される流れが生まれることを期待したい。
Acknowledgments:本研究は、 RWC研究用音楽データベース (ポピュラー音楽) RWC-MDB-P-2001 を利用した。 本研究に対し有益な議論をして頂いた、 麻生 英樹 氏 (産業技術総合研究所)に感謝する。
References:
(IEEE server)
Awards:
Back to: