Dr. Kento Watanabe's Home Page

[English page]
産総研
last updated 2024.12.4
写真
プロフィール
渡邉 研斗（Kento Watanabe）
国立研究開発法人産業技術総合研究所（ウェブサイト）
人間情報インタラクション研究部門（ウェブサイト）
メディアインタラクション研究グループ 主任研究員
〒305-8568 茨城県つくば市梅園1-1-1 中央事業所2群
TEL:050-3521-0463
E-mail:kento.watanabe*aist.go.jp（*を@に変更して使用してください。）
研究実績情報 researchmap / Google Scholar / DBLP
学歴
  • 2013年3月 東北大学 工学部 情報知能システム総合学部卒業
  • 2018年3月 東北大学大学院 情報科学研究科 博士後期課程システム情報科学専攻単位取得
  • 2018年3月 博士（情報科学） （東北大学）
所属学会
経歴
  • 2012年10月 - 2015年2月 科学技術振興機構さきがけ アドミニストレイティブ・アシスタント
  • 2012年12月 - 2016年3月 卓越した大学院拠点 ジュニア・リサーチ・アシスタント
  • 2016年 4月 - 2018年3月 東北大学大学院情報科学研究科 ティーチング・アシスタント
  • 2016年 4月 - 2018年3月 日本学術振興会 特別研究員（DC2）
  • 2016年 8月 - 2017年3月 産業技術総合研究所 招聘型協力研究員
  • 2018年 4月 - 2023年9月 産業技術総合研究所 研究員
  • 2023年10月 - 現在 産業技術総合研究所 主任研究員
研究分野

・歌詞情報処理
ポピュラー音楽において，歌詞は感情やメッセージを伝えるための重要な要素です． 例えば，メロディに対して歌詞を作るとき， テーマやストーリー，押韻・反復・倒置・比喩などの言語的性質と曲調に合わせた単語選択や，音符・休符などのリズムなどの音楽的性質の両方を考慮する必要があります．このような歌詞特有の性質をデータから解き明かし，作詞支援や検索技術などに応用する歌詞情報処理を研究しています．

・キーワード
歌詞情報処理，自然言語処理，音楽情報処理，知的インタフェース，人工知能

研究実績

1. 学術論文誌

  1. Kento Watanabe and Masataka Goto: A Text-to-Lyrics Generation Method Leveraging Image-based Semantics and Reducing Plagiarism Risk, IEICE Transactions on Information and Systems, Vol.XXX, No.X, ppXXXX–XXXX, XXXX 2024.
  2. 三林 亮太, 山本 岳洋, 佃 洸摂, 渡邉 研斗, 中野 倫靖, 後藤 真孝, 大島 裕明: ラップバトルにおける逆向き生成によるライムを含む返答バース生成, 情報処理学会論文誌データベース（TOD） Vol.17, No.2, pp.28–39, April 2024.
  3. Kento Watanabe and Masataka Goto: A Method to Detect Chorus Sections in Lyrics Text, IEICE Transactions on Information and Systems, Vol.E106.D, No.9, pp1600–1609, September 2023.
  4. Hiromu Yakura, Kento Watanabe, and Masataka Goto: Self-Supervised Contrastive Learning for Singing Voices, IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol.30, pp.1614–1623, 2022.
  5. Takayuki Nakatsuka, Kento Watanabe, Yuki Koyama, Masahiro Hamasaki, Masataka Goto, and Shigeo Morishima: Vocal-Accompaniment Compatibility Estimation Using Self-Supervised and Joint-Embedding Techniques, IEEE Access, Vol.9, pp.101994–102003, 2021.
  6. Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Satoru Fukayama, Tomoyasu Nakano, and Masataka Goto: Modeling Storylines in Lyrics, IEICE Transactions on Information and Systems, Vol.E101.D, No.4, pp1167–1179, April 2018.
  7. 鍋島 啓太, 渡邉 研斗, 水野 淳太, 岡崎 直観, 乾 健太郎: 訂正パターンに基づく誤情報の収集と拡散状況の分析, 自然言語処理 Vol.13, No.2, pp.461–484, June 2013.

2. 国際学会

  1. Osamu Take, Kento Watanabe, Takayuki Nakatsuka, Tian Cheng, Tomoyasu Nakano, Masataka Goto, Shinnosuke Takamichi, and Hiroshi Saruwatari: Audio Effect Chain Estimation and Dry Signal Recovery from Multi-Effect-Processed Musical Signals, In Proceedings of the 27th International Conference on Digital Audio Effects (DAFx24), September 2024.
  2. Kento Watanabe and Masataka Goto: Text-to-lyrics generation with image-based semantics and reduced risk of plagiarism, In Proceedings of the 24th annual conference of the International Society for Music Information Retrieval (ISMIR 2023), November 2023.
  3. Haven Kim, Kento Watanabe, Masataka Goto, and Juhan Nam: A Computational Evaluation Framework for Singable Lyric Translation, In Proceedings of the 24th annual conference of the International Society for Music Information Retrieval (ISMIR 2023), November 2023.
  4. Ryota Mibayashi, Takehiro Yamamoto, Kosetsu Tsukuda, Kento Watanabe, Tomoyasu Nakano, Masataka Goto, and Hiroaki Ohshima: Verse Generation by Reverse Generation Considering Rhyme and Answer in Japanese Rap Battles, In Proceedings of the 16th International Symposium on Computer Music Multidisciplinary Research (CMMR 2023), November 2023.
  5. Kento Watanabe and Masataka Goto: Atypical Lyrics Completion Considering Musical Audio Signals, In Proceedings of the 27th International Conference on Multimedia Modeling (MMM 2021), pp.174–186, January 2021.
  6. Kento Watanabe and Masataka Goto: Lyrics Information Processing: Analysis, Generation, and Applications, In Proceedings of the 1st Workshop on NLP for Music and Audio (NLP4MusA), pp.6–11, October 2020.
  7. Kento Watanabe and Masataka Goto: A Chorus-Section Detection Method for Lyrics Text, In Proceedings of the 21st annual conference of the International Society for Music Information Retrieval (ISMIR 2020), pp.351–359, October 2020.
  8. Kento Watanabe, Masataka Goto: Query-by-Blending: A Music Exploration System Blending Latent Vector Representations of Lyric Word, Song Audio, and Artist, In Proceedings of the 20th annual conference of the International Society for Music Information Retrieval (ISMIR 2019), pp.144–151, November 2019.
  9. Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, and Kentaro Inui: Unsupervised Learning of Style-sensitive Word Vectors, In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), pp.572–578, July 2018.
  10. Kento Watanabe, Yuichiroh Matsubayashi, Satoru Fukayama, Masataka Goto, Kentaro Inui and Tomoyasu Nakano: A Melody-conditioned Lyrics Language Model, In Proceedings of the 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp.163–172, June 2018.
  11. Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Tomoyasu Nakano, Satoru Fukayama, and Masataka Goto: LyriSys: An Interactive Support System for Writing Lyrics Based on Topic Transition, In Proceedings of the 22nd Annual Meeting of the Intelligent User Interfaces Community (ACM IUI 2017), pp.559—563, March 2017.
  12. Kento Watanabe, Yuichiroh Matsubayashi, Naho Orita, Naoaki Okazaki, Kentaro Inui, Satoru Fukayama, Tomoyasu Nakano, Jordan B. L. Smith, and Masataka Goto: Modeling Discourse Segments in Lyrics Using Repeated Patterns, In Proceedings of the 26th International Conference on Computational Linguistics (COLING 2016), PP.1959—1969, December 2016.
  13. Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, and Masataka Goto: Modeling Structural Topic Transitions for Automatic Lyrics Generation, In Proceedings of the 28th Pacific Asia Conference on Language, Information and Computing (PACLIC 2014), pp.422—431, December 2014.
  14. Naoaki Okazaki, Keita Nabeshima, Kento Watanabe, Junta Mizuno, and Kentaro Inui: Extracting and Aggregating False Information from Microblogs, In Proceedings of the Workshop on Language Processing and Crisis Information 2013 (LPCI 2013), pp.36–43, October 2013.

3. 国内学会

  1. 中野 倫靖, 加藤 淳, 渡邉 研斗, 濱崎 雅弘, 後藤 真孝: 歌詞に基づく歌声アノテーションのためのインタフェース構築, 学会名 第32回インタラクティブシステムとソフトウェアに関するワークショップ (WISS 2024), December 2024.
  2. 木下 裕一朗, 佃 洸摂, 渡邉 研斗, 中塚 貴之, 中野 倫靖, 後藤 真孝, 中村 聡史: 動画共有サービス上の興味を引く時刻同期コメントを用いた音楽動画探索システムに関する検討, 第209回ヒューマンコンピュータインタラクション研究会, July 2024.
  3. 三林 亮太, 佃 洸摂, 渡邉 研斗, 中野 倫靖, 後藤 真孝, 山本 岳洋, 大島 裕明: ラップバトルにおけるアンサーの類型化および類型の自動分類, 第16回データ工学と情報マネジメントに関するフォーラム (DEIM 2024), February 2024.
  4. 武 伯寒, 渡邉 研斗, 中塚 貴之, Cheng Tian, 中野 倫靖, 後藤 真孝, 高道 慎之介, 猿渡 洋: 複数のオーディオエフェクトが適用された楽音に対するエフェクトチェイン推定と原音復元, 日本音響学会 第151回(2024年春季)研究発表会, March 2024.
  5. 渡邉 研斗, 後藤 真孝: 入力文章の内容に沿った新たな歌詞を生成する作詞支援システムと剽窃リスクを下げる歌詞生成手法, 言語処理学会第29回年次大会 (NLP 2023), pp.964-969, March 2023.
  6. 矢倉 大夢, 渡邉 研斗, 後藤 真孝: 歌声のための自己教師あり対照学習による特徴量表現の獲得手法, 第135回音楽情報科学研究発表会 (MUS), pp.1-8, No.9, September 2022.
  7. 渡邉 研斗, 後藤 真孝: 歌詞のサビ区間推定手法, 言語処理学会第27回年次大会 (NLP 2021), pp.958-961, March 2021.
  8. 渡邉 研斗, 後藤 真孝: ありがちでない歌詞生成に向けた曲調と歌詞の関係に基づくベクトル空間モデル, 言語処理学会第25回年次大会 (NLP 2019), pp.958-961, March 2019.
  9. 赤間 怜奈, 渡邉 研斗, 横井 祥, 小林 颯介, 乾 健太郎: スタイルの類似性を捉えた単語ベクトルの教師なし学習, 人工知能学会第32回全国大会 (JSAI 2018), June 2018.
  10. 渡邉 研斗, 松林 優一郎, 深山 覚, 乾 健太郎, 後藤 真孝, 中野 倫靖: メロディ条件付き歌詞言語モデル, 言語処理学会第24回年次大会 (NLP 2018), pp.1296-1299, March 2018.
  11. 渡邉 研斗, 赤間 怜奈, 横井 祥, 田 然, 乾 健太郎: 話題と言葉遣いの違いを考慮した潜在トピックモデル, 言語処理学会第24回年次大会 (NLP 2018), pp.643-646, March 2018.
  12. 赤間 怜奈, 横井 祥, 渡邉 研斗, 田 然, 小林 颯介, 乾 健太郎: サンプリング戦略に基づく単語ベクトルの意味成分とスタイル成分の分離, 言語処理学会第24回年次大会 (NLP 2018), pp.718-721, March 2018.
  13. 田 然, 渡邉 研斗, 乾 健太郎: 多因子単語埋め込みを用いる複数分野感情極性の転移学習, 言語処理学会第24回年次大会 (NLP 2018), pp.444-447, March 2018.
  14. 赤間 怜奈, 横井 祥, 渡邉 研斗, 乾 健太郎: 発話の語の文体ベクトルの半教師あり学習, 第8回対話システムシンポジウム, Vol.2017-SIG-SLUD-B508-27, October 2017.
  15. 赤間 怜奈, 渡邉 研斗, 横井 祥, 乾 健太郎: 発話スタイル空間の教師なし学習およびスタイル制御可能な対話システムの実現, 第12回NLP若手の会シンポジウム, September 2017.
  16. 渡邉 研斗, 松林 優一郎, 深山 覚, 中野 倫靖, 後藤 真孝, 乾 健太郎: メロディと歌詞の相関に基づく自動歌詞生成, 第231回自然言語処理研究会, Vol.2017-SLP-116, No.16, May 2017.
  17. 清野 舜, 田 然, 渡邉 研斗, 岡崎 直観, 乾 健太郎: 談話関係認識のための時制情報の分析, 言語処理学会第23回年次大会 (NLP 2017), pages 827–830, March 2017.
  18. 渡邉 研斗, 松林 優一郎, 乾 健太郎, 深山 覚, 中野 倫靖, 後藤 真孝: ストーリー展開と一貫性を同時に考慮した歌詞生成モデル, 人工知能学会第30回全国大会 (JSAI 2017), May 2017.
  19. 渡邉 研斗, 松林 優一郎, 乾 健太郎, 中野 倫靖, 深山 覚, 後藤 真孝: LyriSys: 歌詞の大局的構造に基づいた作詞支援インタフェース, In Proceedings of the 23rd Workshop on Interactive Systems and Software (WISS 2015), December, 2015.
  20. 渡邉 研斗, 松林 優一郎, 乾 健太郎, 深山 覚, 中野 倫靖, 後藤 真孝: ストーリー展開を考慮した自動歌詞生成システム, 第10回NLP若手の会シンポジウム, September 2015.
  21. 清野 舜, 渡邉 研斗, 岡崎 直観, 乾 健太郎: Bi-gram連接表と単語列変形規則に基づく回文自動生成, 人工知能学会第29回全国大会 (JSAI 2015), June, 2015.
  22. 渡邉 研斗, 松林 優一郎, 乾 健太郎, 後藤 真孝: 大規模歌詞データからの潜在的トピック遷移のモデル化, 情報処理学会第77回全国大会, Vol.2, pp.371—372, March, 2015.
  23. 渡邉 研斗, 松林 優一郎, 乾 健太郎, 後藤 真孝: 実用的な自動歌詞生成に向けて, 第9回NLP若手の会シンポジウム, September 2014.
  24. 渡邉 研斗, 松林 優一郎, 乾 健太郎, 後藤 真孝: 大局的な構造を考慮した歌詞自動生成システムの提案, 言語処理学会第20回年次大会 (NLP 2014), pp.694–697, March, 2014.
  25. 渡邉 研斗, 岡崎 直観, 乾 健太郎: ツイッターからの社会の「論点」を探る. 第8回NLP若手の会シンポジウム, 第9回NLP若手の会シンポジウム, September 2013.
  26. 渡邉 研斗, 鍋島 啓太, 岡崎 直観, 乾 健太郎: Twitter上での誤情報と訂正情報の自動分類, 言語処理学会第19回年次大会 (NLP 2013), pp.178–181, March, 2013.
  27. 渡邉 研斗, 鍋島 啓太, 水野 淳太, 岡崎 直観, 乾 健太郎: Twitterにおける誤情報の拡散収束過程の可視化, 情報処理学会第75回全国大会, Vol.1, pp.657–658, March, 2013.

4. 学位論文

  1. 博士論文: Modeling Discourse Structure of Lyrics.
  2. 修士論文: 歌詞の構造や音韻を考慮した自動歌詞生成に関する研究.
  3. 学士論文: ツイートの自動分類による誤情報の拡散収束過程の分析.

5. 社会実装

  1. Lyric Speaker Box: 再生した歌詞を自動的にモーショングラフィックスとして表示するスピーカーに備わる「歌詞からサビ区間を検出する」機能および「歌詞の印象を推定する」機能の開発． プレスリリース
  2. Audiostock: BGM・効果音ストックサービス「Audiostock」に備わる「手元の楽曲で、似たイメージの曲を探せる」機能の開発． プレスリリース
  3. Audiostock: BGM・効果音ストックサービス「Audiostock」に備わる音響信号解析に基づく類似作品の表示・検索機能の開発． プレスリリース
  4. Kiite: 音楽発掘サービス「Kiite」に備わる音楽類似度推定技術の研究開発． サービスページ
  5. TextAlive: 歌詞アニメーション制作サービス「TextAlive」に備わる形態素解析API開発． サービスページ

6. メディア掲載等

  1. 東北大学 自然言語処理グループ卒業生記事: 人間の知的営為が紡ぐ “歌詞”を科学する。未開の領域をゆく意志と 勇気、使命感とともに。 記事ページ
  2. 東北大学 2023年度工学部案内:「未来への挑戦」卒業生の活躍インタビュー． ウェブパンフレット
  3. 日本経済新聞朝刊(2018年4月29日): 曲に合う歌詞 自動生成． 記事ページ
  4. ネットニュース: ミクにあいたい→そうだVRで召喚しよう！ 一途な思いが実現した"ブラウザで動くVRアプリ"がすごい完成度． 記事ページ
  5. 東北大学 2014/2015/2016/2017/2018/2019年度電気情報物理工学科案内:「10年後の社会をつくるあなたのために」情報工学コース学生インタビュー．
  6. 朝日新聞朝刊９面(2013年7月26日): つながる力 次こそ真価．

7. 受賞

  1. 言語処理学会 第29回年次大会 委員特別賞
  2. 第135回音楽情報科学研究会発表会 ベストプレゼンテーション賞 Best Research部門（共著）
  3. 言語処理学会 第27回年次大会 委員特別賞
  4. 人工知能学会 第32回全国大会 全国大会優秀賞（共著）
  5. 東北大学 電気・情報系優秀学生賞
  6. 人工知能学会 音声・言語理解と対話処理研究会 第81回研究会 第８回対話システムシンポジウム 学生奨励賞（共著）
  7. NLP若手の会 第12回シンポジウム 奨励賞（共著）
  8. 情報処理学会 第231回自然言語処理研究会 学生奨励賞
  9. 言語処理学会 2013年度論文賞
  10. 情報処理学会第 75回全国大会 学生奨励賞
  11. NLP若手の会 第10回シンポジウム デモ賞
  12. NLP若手の会 第9回シンポジウム 奨励賞

8. 競争的資金

  1. 2020年 - 2022年 日本学術振興会 若手研究（代表者） 作者の意図抽出と文章の自動生成を融合した包括的な作文支援システム
  2. 2016年 - 2018年 日本学術振興会 特別研究員 (DC2)（代表者） 言語情報と音楽情報の相互関係を考慮した歌詞の構造解析と生成

9. 招待講演・チュートリアル講演

  1. 2024年11月 ISMIR2024 チュートリアル 「Lyrics and Singing Voice Processing in Music Information Retrieval: Analysis, Alignment, Transcription and Applications」 概要ページ
  2. 2023年3月 IPSJ-ONE 「歌詞を理解し，作詞を支援するコンピュータ」 概要ページ / 講演動画ページ
  3. 2022年8月 NLP若手の会 (YANS) 第17回シンポジウム 招待セッション 「歌詞情報処理という新分野を立ち上げるまで」 概要ページ
  4. 2021年3月 言語処理学会 第27回年次大会 ワークショップ「若手研究者交流のニューノーマルを考える」 概要ページ
  5. 2021年5月 東京大学 宮尾研究室 講演 「Lyrics Information Processing: Analysis, Generation, and Applications」
  6. 2020年9月 東京工業大学 岡崎研究室 講演 「Lyrics Information Processing: Analysis, Generation, and Applications」
  7. 2019年7月 東京工業大学 奥村研究室 講演 「歌詞情報処理の現在とミライ」
  8. 2014年3月 言語処理学会第20回年次大会 招待論文講演 「訂正パターンに基づく誤情報の収集と拡散状況の分析」

10. 委員会活動

  1. 2023年 - 現在 言語処理学会編集委員
  2. 2020年 - 2021年 NLP4MusA 運営委員
  3. 2019年 - 2022年 最先端NLP勉強会 運営委員長
  4. 2015年 - 2017年 NLP若手の会 運営委員

11. その他の研究活動履歴

  1. 2021年9月 第13回最先端NLP勉強会 論文紹介 「CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding (ACL2021)」
  2. 2019年9月 第11回最先端NLP勉強会 論文紹介 「Word and Document Embedding with vMF-Mixture Priors on Context Word Vectors (ACL2019)」
  3. 2019年8月 初音ミク「マジカルミライ 2019」企画展 Collaboration with Songle Sync
  4. 2019年8月 LIGHT UP NIPPON HOKKAIDO feat. 初音ミク Collaboration with Songle Sync 運営参加
  5. 2018年8月 初音ミク「マジカルミライ 2018」企画展 Collaboration with Songle Sync 運営参加
  6. 2018年9月 第10回最先端NLP勉強会 論文紹介 「Evaluating the Stability of Embedding-based Word Similarities (TACL2018)」
  7. 2017年2月 第1回若手異分野交流研究会 研究発表 「人工知能は歌詞を理解できるか？ 〜歌詞の音楽的構造と自動生成の可能性〜」
  8. 2017年9月 第9回最先端NLP勉強会 論文紹介 「Automatically Generating Rhythmic Verse with Neural Networks (ACL2017)」
  9. 2017年2月〜 3月 産業技術総合研究所 技術研修 「メロディと歌詞の相関に基づく自動歌詞生成」
  10. 2016年8月〜 9月 産業技術総合研究所 技術研修 「メロディと歌詞のアライメントデータの自動作成手法の提案」
  11. 2016年2月〜 3月 産業技術総合研究所 技術研修 「繰り返し構造に基づく歌詞の構造モデリング」
  12. 2015年9月〜10月 産業技術総合研究所 技術研修 「音響特徴量を考慮した作詞支援統合環境の開発」
  13. 2015年8月 第7回最先端NLP勉強会 論文紹介 「Bring you to the past: Automatic Generation of Topically Relevant Event Chronicles (ACL2015)」
  14. 2015年3月〜4月 産業技術総合研究所 技術研修 「歌詞生成・支援技術のエラー分析と改善策の考察」
  15. 2014年9月〜10月 産業技術総合研究所 技術研修 「歌詞内容の遷移を考慮した歌詞の自動生成」
  16. 2013年8月 第5回最先端NLP勉強会 論文紹介 「What to do about bad language on the internet (NAACL2013)」
  17. 2012年8月 第4回最先端NLP勉強会 論文紹介 「Finding Busty Topics from Microblogs (ACL2012)」