Kento Watanabe
Profile
Ph.D. (Computer Science)
National Institute of Advanced Industrial Science and Technology (AIST), Japan.
Human Infomatics and Interaction Institute.
Media Interaction Research Group.
Researcher
kento.watanabe@aist.go.jp

Research Area
I am interested in Natural Language Processing (NLP), especially my research focus is lyrics processing. This is a new research area in which natural language processing, music information processing and intelligent interface are fused. Once a reasonably sophisticated computational model of lyrics is obtained, the model will provide us a better understanding of the nature and structure of lyrics, which will then allow us to consider building computer systems which can enhance the creativity of human lyrics writers.
Technical Background
My technical background are language model, discourse structure analysis, text generation, bayesian model, support interface, SNS analysis and sentiment analysis.
　Biography
2018-onward
Researcher,
National Institute of Advanced Industrial Science and Technology (AIST)
2016—2018
Research Fellowship Japan Society for the Promotion of Science (JSPS)
　Education
2018
Ph.D. from Department of System Information Sciences,
Tohoku University
Adviser Kentaro Inui，Yuichiroh Matsubayashi
2015
M.S. from Department of System Information Sciences,
Tohoku University
Adviser Kentaro Inui
2013
B.E. from Department of Information and Intelligent Systems,
Tohoku University
Adviser Kentaro Inui
Research Projects
Atypical Lyrics Completion Considering Musical Audio Signals [2020-2021]
This paper addresses the novel task of lyrics completion for creative support. Our proposed task aims to suggest words that are (1) atypical but (2) suitable for musical audio signals. In this study, we propose a novel vector space model with negative sampling strategy and hypothesize that embedding multimodal aspects (words, draft sentences, and musical audio signals) in a unified vector space contributes to capturing (1) the atypicality of words and (2) the relationships between words and the moods of music audio. To test our hypothesis, we used a large-scale dataset to investigate whether the proposed multimodal vector space model suggests atypical words.
Conference
MMM 2021
A Chorus-Section Detection Method for Lyrics Text [2020]
This paper addresses the novel task of detecting chorus sections in English and Japanese lyrics text. Although chorus-section detection using audio signals has been studied, whether chorus sections can be detected from text-only lyrics is an open issue. Another open issue is whether patterns of repeating lyric lines such as those appearing in chorus sections depend on language. To investigate these issues, we propose a neural network-based model for sequence labeling.
Conference
ISMIR 2020
Query-by-Blending: A Music Exploration System Blending Latent Vector Representations of Lyric Word, Song Audio, and Artist [2019]
This paper presents Query-by-Blending, a novel music exploration system that enables users to find unfamiliar music content by flexibly combining (i.e., blending) three musical aspects: lyric word, song audio, and artist. To calculate cross-modal similarities, we construct a vector space model with unsupervised learning under the assumption that the lyrics, audio, and artist of one song are mapped near each other in the unified vector space.
Conference
ISMIR 2019
A Melody-conditioned Lyrics Language Model [2017-2018]
This study presents a novel, data-driven language model that produces entire lyrics for a given input melody. (1) We create a collection of 1,000 lyrics-melody pairs augmented with precise syllable-note alignments and word/sentence/paragraph boundaries. (2) We provide a quantitative analysis of the correlation between word/sentence/paragraph boundaries in lyrics and melodies. (3) We propose an RNN-based lyrics language model conditioned on a featurized melody.
Conference
NAACL-HLT 2018
LyriSys: An Interactive Support System for Writing Lyrics Based on Topic Transition [2014-2017]
This study presents LyriSys, a novel lyric-writing support system. LyriSys allows users to create and revise their work incrementally in a trial-and-error manner. Through fine-grained interactions with the system, the user can create the specifications of the musical structure and the story of the lyrics in terms of the verse-bridge-chorus structure, the number of lines, words and syllables, and most importantly, the transition over semantic topics such as "scene", "dark" and "sweet love".
Conference
ACM IUI 2017
WISS 2015
Modeling Storylines in Lyrics [2014-2018]
This study addresses the issue of modeling the discourse nature of lyrics and presented the first study aiming at capturing the two common discourse-related notions: storylines and themes. We assume that a storyline is a chain of transitions over topics of segments and a song has at least one entire theme. We then hypothesize that transitions over topics of lyric segments can be captured by a probabilistic topic model which incorporates a distribution over transitions of latent topics and that such a distribution of topic transitions is affected by the theme of lyrics.
Conference
IEICE Transaction
PACLIC 2014
Modeling Discourse Segments in Lyrics Using Repeated Patterns [2016]
This study proposes a computational model of the discourse segments in lyrics to understand and to model the structure of lyrics. To test our hypothesis that discourse segmentations in lyrics strongly correlate with repeated patterns, we conduct the first large-scale corpus study on discourse segments in lyrics. Next, we propose the task to automatically identify segment boundaries in lyrics and train a logistic regression model for the task with the repeated pattern and textual features.
Conference
COLING 2016
Publications
◆ Journal Papers
Hiromu Yakura, Kento Watanabe and Masataka Goto. "Self-Supervised Contrastive Learning for Singing Voices". IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol.30, pp.1614–1623, 2022. pdf BiBTex
Takayuki Nakatsuka, Kento Watanabe, Yuki Koyama, Masahiro Hamasaki, Masataka Goto and Shigeo Morishima. "Vocal-Accompaniment Compatibility Estimation Using Self-Supervised and Joint-Embedding Techniques". IEEE Access, Vol.9, pp.101994–102003, 2021. pdf BiBTex
Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Satoru Fukayama, Tomoyasu Nakano and Masataka Goto. "Modeling Storylines in Lyrics". IEICE Transactions on Information and Systems, Vol.E101.D, No.4, pp1167–1179, April 2018. pdf BiBTex
鍋島 啓太, 渡邉 研斗, 水野 淳太, 岡崎 直観, 乾 健太郎. "訂正パターンに基づく誤情報の収集と拡散状況の分析". 自然言語処理 Vol.13, No.2, pp.461–484, June 2013. pdf BiBTex
◆ International Conference & Workshop
Kento Watanabe, Masataka Goto. "Atypical Lyrics Completion Considering Musical Audio Signals". In Proceedings of the 27th International Conference on Multimedia Modeling (MMM 2021), pp.174–186, January 2021. link BiBTex
Kento Watanabe, Masataka Goto. "Lyrics Information Processing: Analysis, Generation, and Applications". In Proceedings of the 1st Workshop on NLP for Music and Audio (NLP4MusA), pp.6–11, October 2020. pdf BiBTex
Kento Watanabe, Masataka Goto. "A Chorus-Section Detection Method for Lyrics Text". In Proceedings of the 21st annual conference of the International Society for Music Information Retrieval (ISMIR 2020), pp.351–359, October 2020. pdf BiBTex
Kento Watanabe, Masataka Goto. "Query-by-Blending: A Music Exploration System Blending Latent Vector Representations of Lyric Word, Song Audio, and Artist". In Proceedings of the 20th annual conference of the International Society for Music Information Retrieval (ISMIR 2019), pp.144–151, November 2019. pdf DEMO BiBTex
Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, Kentaro Inui. "Unsupervised Learning of Style-sensitive Word Vectors". In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), pp.572–578, July 2018. pdf BiBTex
Kento Watanabe, Yuichiroh Matsubayashi, Satoru Fukayama, Masataka Goto, Kentaro Inui and Tomoyasu Nakano. "A Melody-conditioned Lyrics Language Model". In Proceedings of the 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp.163–172, June 2018. pdf BiBTex Git Hub Git Hub
Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Tomoyasu Nakano, Satoru Fukayama and Masataka Goto. "LyriSys: An Interactive Support System for Writing Lyrics Based on Topic Transition". In Proceedings of the 22nd Annual Meeting of the Intelligent User Interfaces Community (ACM IUI 2017), pp.559—563, March 2017. pdf BiBTex
Kento Watanabe, Yuichiroh Matsubayashi, Naho Orita, Naoaki Okazaki, Kentaro Inui, Satoru Fukayama, Tomoyasu Nakano, Jordan B. L. Smith and Masataka Goto. "Modeling Discourse Segments in Lyrics Using Repeated Patterns". In Proceedings of the 26th International Conference on Computational Linguistics (COLING 2016), PP.1959—1969, December 2016. pdf BiBTex
Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui and Masataka Goto. "Modeling Structural Topic Transitions for Automatic Lyrics Generation". In Proceedings of the 28th Pacific Asia Conference on Language, Information and Computing (PACLIC 2014), pp.422—431, December 2014. pdf BiBTex
Naoaki Okazaki, Keita Nabeshima, Kento Watanabe, Junta Mizuno and Kentaro Inui. "Extracting and Aggregating False Information from Microblogs". In Proceedings of the Workshop on Language Processing and Crisis Information 2013 (LPCI 2013), pp.36–43, October 2013. pdf BiBTex
◆ Domestic Conference (in Japanese)
渡邉 研斗, 後藤 真孝. "歌詞のサビ区間推定手法". 言語処理学会第27回年次大会 (NLP 2021), pp.958-961, March 2019. pdf BiBTex
渡邉 研斗, 後藤 真孝. "ありがちでない歌詞生成に向けた曲調と歌詞の関係に基づくベクトル空間モデル". 言語処理学会第25回年次大会 (NLP 2019), pp.958-961, March 2019. pdf DEMO BiBTex
赤間 怜奈, 渡邉 研斗, 横井 祥, 小林 颯介, 乾 健太郎. "スタイルの類似性を捉えた単語ベクトルの教師なし学習". 人工知能学会第32回全国大会 (JSAI 2018), June 2018. pdf BiBTex
渡邉 研斗, 松林 優一郎, 深山 覚, 乾 健太郎, 後藤 真孝, 中野 倫靖. "メロディ条件付き歌詞言語モデル". 言語処理学会第24回年次大会 (NLP 2018), pp.1296-1299, March 2018. pdf BiBTex
渡邉 研斗, 赤間 怜奈, 横井 祥, 田 然, 乾 健太郎. "話題と言葉遣いの違いを考慮した潜在トピックモデル". 言語処理学会第24回年次大会 (NLP 2018), pp.643-646, March 2018. pdf BiBTex
赤間 怜奈, 横井 祥, 渡邉 研斗, 田 然, 小林 颯介, 乾 健太郎. "サンプリング戦略に基づく単語ベクトルの意味成分とスタイル成分の分離". 言語処理学会第24回年次大会 (NLP 2018), pp.718-721, March 2018. pdf BiBTex
田 然, 渡邉 研斗, 乾 健太郎. "多因子単語埋め込みを用いる複数分野感情極性の転移学習". 言語処理学会第24回年次大会 (NLP 2018), pp.444-447, March 2018. pdf BiBTex
赤間 怜奈, 横井 祥, 渡邉 研斗, 乾 健太郎. "発話の語の文体ベクトルの半教師あり学習". 第8回対話システムシンポジウム, Vol.2017-SIG-SLUD-B508-27, October 2017. pdf BiBTex
渡邉 研斗, 松林 優一郎, 深山 覚, 中野 倫靖, 後藤 真孝, 乾 健太郎. "メロディと歌詞の相関に基づく自動歌詞生成". 第231回自然言語処理研究会, Vol.2017-SLP-116, No.16, May 2017. pdf BiBTex
清野 舜, 田 然, 渡邉 研斗, 岡崎 直観, 乾 健太郎. "談話関係認識のための時制情報の分析". 言語処理学会第23回年次大会 (NLP 2017), pages 827–830, March 2017. pdf BiBTex
渡邉 研斗, 松林 優一郎, 乾 健太郎, 深山 覚, 中野 倫靖, 後藤 真孝. "ストーリー展開と一貫性を同時に考慮した歌詞生成モデル". 人工知能学会第30回全国大会 (JSAI 2017), May 2017. pdf BiBTex
渡邉 研斗, 松林 優一郎, 乾 健太郎, 中野 倫靖, 深山 覚, 後藤 真孝. "LyriSys: 歌詞の大局的構造に基づいた作詞支援インタフェース". In Proceedings of the 23rd Workshop on Interactive Systems and Software (WISS 2015), December, 2015. pdf BiBTex
清野 舜, 渡邉 研斗, 岡崎 直観, 乾 健太郎. "Bi-gram連接表と単語列変形規則に基づく回文自動生成". 人工知能学会第29回全国大会 (JSAI 2015), June, 2015. pdf BiBTex
渡邉 研斗, 松林 優一郎, 乾 健太郎, 後藤 真孝. "大規模歌詞データからの潜在的トピック遷移のモデル化". 情報処理学会第77回全国大会, Vol.2, pp.371—372, March, 2015. pdf BiBTex
渡邉 研斗, 松林 優一郎, 乾 健太郎, 後藤 真孝. "大局的な構造を考慮した歌詞自動生成システムの提案". 言語処理学会第20回年次大会 (NLP 2014), pp.694–697, March, 2014. pdf BiBTex
渡邉 研斗, 鍋島 啓太, 岡崎 直観, 乾 健太郎. "Twitter上での誤情報と訂正情報の自動分類". 言語処理学会第19回年次大会 (NLP 2013), pp.178–181, March, 2013. pdf BiBTex
渡邉 研斗, 鍋島 啓太, 水野 淳太, 岡崎 直観, 乾 健太郎. "Twitterにおける誤情報の拡散収束過程の可視化". 情報処理学会第75回全国大会, Vol.1, pp.657–658, March, 2013. pdf BiBTex
◆ Others
赤間 怜奈, 渡邉 研斗, 横井 祥, 乾 健太郎. "発話スタイル空間の教師なし学習およびスタイル制御可能な対話システムの実現". 第12回NLP若手の会シンポジウム, September 2017.
渡邉 研斗, 松林 優一郎, 乾 健太郎, 深山 覚, 中野 倫靖, 後藤 真孝. "ストーリー展開を考慮した自動歌詞生成システム". 第10回NLP若手の会シンポジウム, September 2015.
渡邉 研斗, 松林 優一郎, 乾 健太郎, 後藤 真孝. "実用的な自動歌詞生成に向けて". 第9回NLP若手の会シンポジウム, September 2014.
渡邉 研斗, 岡崎 直観, 乾 健太郎. "ツイッターからの社会の「論点」を探る. 第8回NLP若手の会シンポジウム". 第9回NLP若手の会シンポジウム, September 2013.
◆ Thesis
Doctor thesis： "Modeling Discourse Structure of Lyrics". pdf
Master thesis： "歌詞の構造や音韻を考慮した自動歌詞生成に関する研究".
Bachelor thesis： "ツイートの自動分類による誤情報の拡散収束過程の分析".
Works
BGM・効果音ストックサービス「Audiostock」「手元の楽曲で、似たイメージの曲を探せる」機能の開発
BGM・効果音ストックサービス「Audiostock」音響信号解析に基づく類似作品の表示・検索機能の開発
音楽発掘サービス「Kiite」音楽類似度推定技術の研究開発
歌詞アニメーション制作サービス「TextAlive」形態素解析API開発
Media
2018/4/29
"曲に合う歌詞 自動生成".
Nihon Keizai Shimbun
2016/3/11
"ミクにあいたい→そうだVRで召喚しよう！　一途な思いが実現した"ブラウザで動くVRアプリ"がすごい完成度".
ITmedia
2014-2016
"2014年度，2015年度，2016年度オープンキャンパス学科紹介パンフレット「10年後の社会をつくるあなたのために」情報工学コース学生インタビュー".
東北大学工学部
2013/7/26
"つながる力 次こそ真価".
Asahi Shimbun
Awards
言語処理学会 第27回年次大会 委員特別賞
人工知能学会 第32回全国大会 全国大会優秀賞（共著）
Tohoku University Student Incentive Award (2018)
人工知能学会 音声・言語理解と対話処理研究会 第81回研究会 第８回対話システムシンポジウム 学生奨励賞（共著）
The 231th IPSJ SIG (Special Interest Groups) on Natural Language Processing Student Incentive Award
The Association for Natural Language Processing Best Paper Award (2013)
The 75th Annual Meeting of the IPSJ Conference Student Incentive Award
Research Grants
2020—2022
日本学術振興会 若手研究（代表者）
作者の意図抽出と文章の自動生成を融合した包括的な作文支援システム
2016—2018
Research Fellowship Japan Society for the Promotion of Science (JSPS)
Activity
2022
NLP若手の会 (YANS) 第17回シンポジウム 招待セッション登壇
2021
言語処理学会 第27回年次大会 ワークショップ「若手研究者交流のニューノーマルを考える」登壇
2020-
NLP4MusA2020 オーガナイザ
2019-
最先端NLP勉強会 実行委員
2018/8/30-9/1
Hatsune Miku, Magical Miral 2019, Collaboration with Songle Sync
2018/8/25
LIGHT UP NIPPON HOKKAIDO feat. Hatsune Miku Collaboration with Songle Sync
2018/8/25-26
Hatsune Miku, Magical Miral 2018, Collaboration with Songle Sync
2018/8/3-4
第10回最先端NLP勉強会 発表参加
2018/9/15-16
第9回最先端NLP勉強会 発表参加
2017/2/24-25
第1回若手異分野交流研究会 発表参加
2017/2-3
産業技術総合研究所 インターン．研究テーマ：メロディと歌詞の相関に基づく自動歌詞生成
2015—2017
NLP若手の会 実行委員
2016/9/11-12
第8回最先端NLP勉強会 発表参加
2016/8-9
産業技術総合研究所 インターン．研究テーマ：メロディと歌詞のアライメントデータの自動作成手法の提案
2016/2-3
産業技術総合研究所 インターン．研究テーマ：繰り返し構造に基づく歌詞の構造モデリング
2015/9-10
産業技術総合研究所 インターン．研究テーマ：音響特徴量を考慮した作詞支援統合環境の開発
2015/8/29-30
第7回最先端NLP勉強会 発表参加
2015/3-4
産業技術総合研究所 インターン．研究テーマ：歌詞生成・支援技術のエラー分析と改善策の考察
2014/9-10
産業技術総合研究所 インターン．研究テーマ：歌詞内容の遷移を考慮した歌詞の自動生成
2014/3
言語処理学会第20回年次大会 招待論文講演
Skill

Python
JavaScript
HTML/CSS
C/C++
C#
Unity
AfterEffects
PremierePro
Photoshop
Cubase
VOCALOID
MMD
Shade
Software
Real-Time Speech Translater
マイク入力からリアルタイムで文章を書き下し、リアルタイムで翻訳するWebアプリ。Google翻訳とDeepL翻訳に対応。 Git Hub
Melody-conditioned Lyrics Language Model
入力メロディに対して歌いやすい歌詞を自動生成するRNN-base言語モデルの訓練用Pythonスクリプト。歌詞テキストから自動的にアライメントされた疑似メロディを生成するスクリプトも用意。MIDIファイルを入力して歌詞を自動生成するスクリプトも用意。 Git Hub
Text2HeatMap
テキスト中の各単語に色をつけるサービス。 言語処理系の論文中の図をつくるのに役立つ。 Demo
Melody-Lyric Alignment Data
歌声合成音声システム「UTAU」と歌詞テキストをアライメントするスクリプト。 本スクリプトにより、メロディと歌詞とその楽曲構造（アクセント・行・段落）が対応づいたデータを自動的に作成可能。 Git Hub
MMD × Songle
Webブラウザ上で3Dモデルの音楽ライブを鑑賞するプログラム。 音楽理解技術Songleを用いて、音楽に合わせて自動的にライブ演出を生成します。 Git Hub NicoNico DEMO
MMD Performer
音楽ライブの演者の気分になれるChrome拡張。 YouTubeの音楽のコード進行を解析するとこで、誰でもBGMを演奏した気になれる、演奏支援機能を搭載。 更に、キャラクターの3Dモデルを読み込むことで、一緒に音楽ライブを演じた気分になれる。 Git Hub Chrome Extension NicoNico
Miku Miku Summoner
WebカメラとARマーカーを使った、Webブラウザで動くARアプリ。 Miku Miku Danceのモデルファイルやモーションファイルなどを、好みに応じて追加することができる。 さらに音声認識機能により、さまざまな指令を出すことができる。 Git Hub NicoNico DEMO
Miku Miku Hologram
ピラミッド状の透明板に投影することで全方位から3Dモデルを鑑賞できるWebアプリ。 好みのモデルやモーションを入力するだけで、疑似立体映像用の4面動画を作ることができる。 Git Hub NicoNico DEMO
N-gram Language Model
Pythonで実装したN-gram言語モデル。 Kneser-nayスムージングを実装。 学習したN-gramから文を生成するビーム探索も実装。 実行速度より、モデルの理解のために実装 Git Hub
Mixture of Unigram Model
Pythonで実装した混合ユニグラムモデル。 最も単純なトピックモデル。 文書に１つの隠れ状態を持ち、隠れ状態の数だけユニグラムモデルが学習される。 また、隠れ状態の数をノンパラメトリックに推定できる「無限混合ユニグラムモデル」も実装。 Git Hub
Latent Dirichlet Allocation (LDA)
Pythonで実装したLDA、俗に言うトピックモデル。 実行速度より、モデルの理解のために実装。 Git Hub
Hidden Markov Model (HMM)
Pythonで実装したベイジアンHMM。 単語間の隠れ状態の繊維構造を教師なし学習する。 また、隠れ状態の数をノンパラメトリックに推定できる「無限HMM」も実装。 Git Hub
Content Model
Pythonで実装したベイジアンHMMを単語単位から段落単位に拡張したモデル。 段落間のトピック遷移を学習することができる。 また、隠れ状態の数をノンパラメトリックに推定できる「無限コンテンツモデル」も実装。 Git Hub
Wikipedia Extractor
Wikipedia記事をクロールするPythonスクリプト。 Git Hub
json2vsqx
json形式ファイルからVOCALOID用のvsqxへ変換するPythonスクリプト。 Git Hub
YouTube Shortcut Command
Google Chromeで再生されているニコニコ動画，YouTubeの動画を一時停止・再生するAppleScript。 Git Hub
Contact
Tel:
+8129-862-6516
Address:
Central 2, 1-1-1 Umezono, Tsukuba, Ibaraki, 305-8568, Japan
E-mail:
kento.watanabe@aist.go.jp
Twitter:
@kento_lyrics
;