渡邉 研斗 / Kento Watanabe

プロフィール / Profile


人間情報インタラクション研究部門
メディアインタラクション研究グループ


研究分野 / Research Area
ポピュラー音楽において,歌詞は感情やメッセージを伝えるための重要な要素です.
例えば,メロディに対して歌詞を作るとき,
テーマやストーリー展開,押韻・反復・倒置・比喩などの言語的性質と曲調に合わせた単語選択や,音符・休符などのリズムなどの音楽的性質の両方を考慮する必要があります.
このような歌詞特有の性質をデータから解き明かし,作詞支援や検索技術などに応用する歌詞情報処理を研究しています.
このような歌詞特有の性質をデータから解き明かし,作詞支援や検索技術などに応用する歌詞情報処理を研究しています.
キーワード / Technical Background
自然言語処理(文章生成,感情分析,談話構造解析,ベイジアンモデル,言語モデル,深層学習),音楽情報処理,知的インタフェース,人工知能

言語処理学会(正会員)
情報処理学会(正会員)

2018—現在
研究員
産業技術総合研究所
人間情報インタラクション研究部門
メディアインタラクショングループ
産業技術総合研究所
人間情報インタラクション研究部門
メディアインタラクショングループ
2016—2018
特別研究員(DC2)
日本学術振興会
日本学術振興会
2016—2017
協力研究員(招聘型)
産業技術総合研究所
産業技術総合研究所
2014—2016
ジュニア・リサーチ・アシスタント
卓越した大学院拠点
卓越した大学院拠点
2014—2015
アドミニストレイティブ・アシスタント
科学技術振興機構「さきがけ」
科学技術振興機構「さきがけ」

2018
博士(情報科学)
東北大学 大学院 情報科学研究科
指導教官 乾健太郎,松林優一郎
東北大学 大学院 情報科学研究科
2015
修士(情報科学)
東北大学 大学院 情報科学研究科
指導教官 乾健太郎
東北大学 大学院 情報科学研究科
2013
学士(工学)
東北大学 工学部
情報知能システム総合学科
指導教官 乾健太郎
東北大学 工学部
情報知能システム総合学科
研究紹介 / Research Projects

Atypical Lyrics Completion Considering Musical Audio Signals [2020-2021]
本研究は作詞中の歌詞の単語を補完する支援技術を開発しました.
例えば,(1)デスメタル楽曲のような激しい音響信号と,(2) "The [空白] in my heart" のような作詞途中の歌詞を入力すると,"devil" や "darkness" などの,楽曲と歌詞の雰囲気に合致した単語を補完することが可能となります.
この技術を実現するために,音響信号と製作途中の歌詞,単語の3種類のデータを「統一されたベクトル空間」へ埋め込みました.
また,「ありきたりではない単語を補完」するために,「ありきたりな単語」をベクトル空間の遠い位置へ追いやることで,より創作的な単語の補完が可能となりました.
発表

A Chorus-Section Detection Method for Lyrics Text [2020]
本研究は歌詞のサビに着目し,歌詞テキストのみからサビの位置を推定する新しい技術を開発しました.
この技術を使えば,サビ位置に特化した歌詞の検索システムや,Kinetic Typographyなどの歌詞ビデオの創作支援技術の基礎技術としても利用できます.
歌詞のサビは,会話や小説などの文章とはことなり,同じフレーズを繰り返したり,より印象的な言葉を使ったりします.
そこで我々は,これらのサビの手がかりをベクトルや行列として表現し,それらを入力した深層学習ベースの系列ラベル予測器を学習しました.
発表

Query-by-Blending: A Music Exploration System Blending Latent Vector Representations of Lyric Word, Song Audio, and Artist [2019]
本研究は歌詞テキスト・音楽音響信号・アーティストのスタイル間の関係性に着目し,単語・曲・アーティストをクエリとして柔軟にブレンドできる新しい音楽発見システム「Query-by-Blending」を開発しました.
例えば,ユーザは単語「snow」とアーティスト「Lady GaGa」を入力し,これら両方とと類似した単語・曲・アーティストを探索することができます.
本システムを実現するためには単語・音響信号・アーティスト間の類似関係を計算する必要がありますが,そのような類似関係が記述されたデータセットはありません.
そこで我々は,同一曲内の単語・音響信号・アーティストが近くに配置される統一されたベクトル空間を自動的に,つまり教師なし学習を用いることで構築しました.
発表

A Melody-conditioned Lyrics Language Model [2017-2018]
本研究はメロディと歌詞の関係性に着目します.
この関係性を分析するためには音符と歌詞が対応づいたデータが必要となりますが,我々はそのデータを半自動的に1000曲分を作成しました.
分析の結果,長い休符の直後に文や段落の切れ目が来やすいということが定量的にわかりました.
「そんなこと当たり前じゃん」と思うかもしれませんが,個人の経験や常識だと思われている事象をデータから統計的に検証することも,情報科学研究の重要な役割です.
更に我々は,この分析結果から着想を得て,メロディを入力するだけで,聞きやすく流暢な言葉遣いの歌詞を全自動生成する言語モデルを提案しました.
発表

LyriSys: An Interactive Support System for Writing Lyrics Based on Topic Transition [2014-2017]
本研究では,作詞支援インタフェース「りりしす」を開発しました.
りりしすは楽曲の構造(Aメロ・Bメロ・サビ)や行数などを入力することで,これらの条件を満たした歌詞候補を列挙することができます.
この操作によって,ユーザが単語列を探す手間が省けます.
さらに各Aメロ・Bメロ・サビに対して,予め用意されている「恋愛」「回想」のようなストーリーの要素を選択するだけで,"大好き"や"思い出"のような各要素を象徴する単語で歌詞を生成することができます.
これらのインタラクションにより,本来ならば人間がゼロからストーリーの流れを考えなければいけない作業が簡略化できます.
発表

Modeling Storylines in Lyrics [2014-2018]
本研究は歌詞のテーマとストーリー展開に着目します.
歌詞には「恋愛」や「明るい」といったようなテーマがあります.
さらに歌詞の段落構造には「背景→回想→主張」のようなストーリー展開もあります.
しかしながら,歌詞のデータにはテーマやストーリー展開といった情報が明示的に記載されていません.
そこで我々は,テーマやストーリー展開を潜在変数とみなした確率モデルを構築することで,明示的に記載されていないテーマやストーリー展開を教師なし学習しました.
学習の結果,恋愛楽曲やHip-Hop楽曲など,様々なジャンルに顕著なストーリー展開が学習されていることが確認できました.
発表
IEICE Transaction

Modeling Discourse Segments in Lyrics Using Repeated Patterns [2016]
本研究は歌詞の繰り返し構造に着目します.
歌詞は1番と2番の歌詞ではサビがそっくりなことがあるように,同じフレーズを何回も繰り返します.
我々は,この歌詞にしか起こらない性質を,データから解き明かします.
歌詞の繰り返し構造を類似度行列として表現することで,どこが段落の切れ目かを推定します.
この手法は音楽情報処理技術で良く使われる手法であり,本研究はそれを歌詞に適応した初の研究です.
実験の結果,繰り返し構造を用いることが,段落の切れ目推定タスクに寄与していることが確認できました.
本技術を応用すると,例えば,人間が曲を歌った瞬間に歌詞カードを作るなどのアプリケーションが実現可能となります.
発表
発表文献 / Publications
◆ 学術論文紙 / Journal Papers




◆ 国際会議 / International Conference & Workshop










◆ 国内会議 / Domestic Conference


















◆ その他 / Others




◆ 学位論文 / Thesis


開発 / Works





メディア / Media
2022-
"2023年度 東北大学 工学部案内「未来への挑戦」卒業生の活躍インタビュー". 東北大学工学部
2018/4/29
"曲に合う歌詞 自動生成".
2016/3/11
"ミクにあいたい→そうだVRで召喚しよう! 一途な思いが実現した"ブラウザで動くVRアプリ"がすごい完成度".
2014-2019
"2014年度から2019年度東北大学オープンキャンパス学科紹介パンフレット「10年後の社会をつくるあなたのために」情報工学コース学生インタビュー". 東北大学工学部
2013/7/26
"つながる力 次こそ真価".
朝日新聞朝刊
受賞 / Awards












競争的資金 / Research Grants
2020—2022
日本学術振興会 若手研究(代表者)
作者の意図抽出と文章の自動生成を融合した包括的な作文支援システム
作者の意図抽出と文章の自動生成を融合した包括的な作文支援システム
2016—2018
日本学術振興会 特別研究員 (DC2)(代表者)
言語情報と音楽情報の相互関係を考慮した歌詞の構造解析と生成
言語情報と音楽情報の相互関係を考慮した歌詞の構造解析と生成
アクティビティ / Activity
2023-
言語処理学会 編集委員
2022
NLP若手の会 (YANS) 第17回シンポジウム 招待セッション登壇
2021
言語処理学会 第27回年次大会 ワークショップ「若手研究者交流のニューノーマルを考える」登壇
2020-2021
NLP4MusA オーガナイザ
2019-2022
最先端NLP勉強会 実行委員 委員長
2018/8/30-9/1
初音ミク「マジカルミライ 2019」企画展 Collaboration with Songle Sync
2018/8/25
LIGHT UP NIPPON HOKKAIDO feat. 初音ミク Collaboration with Songle Sync
2018/8/25-26
初音ミク「マジカルミライ 2018」企画展 Collaboration with Songle Sync
2018/8/3-4
第10回最先端NLP勉強会 発表参加
2018/9/15-16
第9回最先端NLP勉強会 発表参加
2017/2/24-25
第1回若手異分野交流研究会 発表参加
2017/2-3
産業技術総合研究所 インターン.研究テーマ:メロディと歌詞の相関に基づく自動歌詞生成
2015—2017
NLP若手の会 実行委員
2016/9/11-12
第8回最先端NLP勉強会 発表参加
2016/8-9
産業技術総合研究所 インターン.研究テーマ:メロディと歌詞のアライメントデータの自動作成手法の提案
2016/2-3
産業技術総合研究所 インターン.研究テーマ:繰り返し構造に基づく歌詞の構造モデリング
2015/9-10
産業技術総合研究所 インターン.研究テーマ:音響特徴量を考慮した作詞支援統合環境の開発
2015/8/29-30
第7回最先端NLP勉強会 発表参加
2015/3-4
産業技術総合研究所 インターン.研究テーマ:歌詞生成・支援技術のエラー分析と改善策の考察
2014/9-10
産業技術総合研究所 インターン.研究テーマ:歌詞内容の遷移を考慮した歌詞の自動生成
2014/3
言語処理学会第20回年次大会 招待論文講演
ミク活 (プライベート)/ Hatsune Miku Activity
2022
初音ミク「マジカルミライ 2022」参加
2021
初音ミク「マジカルミライ 2021」参加
2020
初音ミク「マジカルミライ 2020」参加
2019
初音ミク「マジカルミライ 2019」参加
2019
SNOW MIKU LIVE 2019 参加
2018
初音ミクシンフォニー 2018 参加
2018
初音ミク「マジカルミライ 2018」参加
2017
初音ミクシンフォニー 2017 参加
2017
初音ミク「マジカルミライ 2017」参加
2017
初音ミク×鼓童 スペシャルライブ 2017 参加
2016
初音ミクシンフォニー 2016 参加
2016
初音ミク「マジカルミライ 2016」参加
2016
MIKU EXPO JAPAN TOUR 参加
2015
初音ミク「マジカルミライ 2015」参加
2015
SNOW MIKU LIVE 2015 参加
2014
初音ミク「マジカルミライ 2014」参加
2014
雪祭初音鑑 参加
2013
初音ミク「マジカルミライ 2013」参加
2013
初音ミク ライブパーティー2013 in Sapporo 参加
2012
ミクの日大感謝祭 参加
スキル / Skill
Python
JavaScript
HTML/CSS
C/C++
C#
Unity
AfterEffects
PremierePro
Photoshop
Cubase
VOCALOID
MMD
Shade
ソフトウェア / Software

マイク入力からリアルタイムで文章を書き下し、リアルタイムで翻訳するWebアプリ。Google翻訳とDeepL翻訳に対応。
Git Hub

入力メロディに対して歌いやすい歌詞を自動生成するRNN-base言語モデルの訓練用Pythonスクリプト。歌詞テキストから自動的にアライメントされた疑似メロディを生成するスクリプトも用意。MIDIファイルを入力して歌詞を自動生成するスクリプトも用意。
Git Hub

テキスト中の各単語に色をつけるサービス。
言語処理系の論文中の図をつくるのに役立つ。
Demo

歌声合成音声システム「UTAU」と歌詞テキストをアライメントするスクリプト。
本スクリプトにより、メロディと歌詞とその楽曲構造(アクセント・行・段落)が対応づいたデータを自動的に作成可能。
Git Hub


音楽ライブの演者の気分になれるChrome拡張。
YouTubeの音楽のコード進行を解析するとこで、誰でもBGMを演奏した気になれる、演奏支援機能を搭載。
更に、キャラクターの3Dモデルを読み込むことで、一緒に音楽ライブを演じた気分になれる。
Git Hub
Chrome Extension
NicoNico

WebカメラとARマーカーを使った、Webブラウザで動くARアプリ。
Miku Miku Danceのモデルファイルやモーションファイルなどを、好みに応じて追加することができる。
さらに音声認識機能により、さまざまな指令を出すことができる。
Git Hub
NicoNico
DEMO

ピラミッド状の透明板に投影することで全方位から3Dモデルを鑑賞できるWebアプリ。
好みのモデルやモーションを入力するだけで、疑似立体映像用の4面動画を作ることができる。
Git Hub
NicoNico
DEMO

Pythonで実装したN-gram言語モデル。
Kneser-nayスムージングを実装。
学習したN-gramから文を生成するビーム探索も実装。
実行速度より、モデルの理解のために実装
Git Hub

Pythonで実装した混合ユニグラムモデル。
最も単純なトピックモデル。
文書に1つの隠れ状態を持ち、隠れ状態の数だけユニグラムモデルが学習される。
また、隠れ状態の数をノンパラメトリックに推定できる「無限混合ユニグラムモデル」も実装。
Git Hub

Pythonで実装したLDA、俗に言うトピックモデル。
実行速度より、モデルの理解のために実装。
Git Hub

Pythonで実装したベイジアンHMM。
単語間の隠れ状態の繊維構造を教師なし学習する。
また、隠れ状態の数をノンパラメトリックに推定できる「無限HMM」も実装。
Git Hub

Pythonで実装したベイジアンHMMを単語単位から段落単位に拡張したモデル。
段落間のトピック遷移を学習することができる。
また、隠れ状態の数をノンパラメトリックに推定できる「無限コンテンツモデル」も実装。
Git Hub

Wikipedia記事をクロールするPythonスクリプト。
Git Hub

json形式ファイルからVOCALOID用のvsqxへ変換するPythonスクリプト。
Git Hub

Google Chromeで再生されているニコニコ動画,YouTubeの動画を一時停止・再生するAppleScript。
Git Hub
連絡先 / Contact
Tel:
029-862-6516
住所:
〒305-8568 茨城県つくば市梅園1-1-1 中央第2
E-mail:
kento.watanabe@aist.go.jp
Twitter: