渡邉 研斗 / Kento Watanabe
プロフィール / Profile
博士（情報科学）
産業技術総合研究所
人間情報インタラクション研究部門
メディアインタラクション研究グループ
研究員
kento.watanabe@aist.go.jp

研究分野 / Research Area
　ポピュラー音楽において，歌詞は感情やメッセージを伝えるための重要な要素です． 例えば，メロディに対して歌詞を作るとき， テーマやストーリー展開，押韻・反復・倒置・比喩などの言語的性質と曲調に合わせた単語選択や，音符・休符などのリズムなどの音楽的性質の両方を考慮する必要があります．
　このような歌詞特有の性質をデータから解き明かし，作詞支援や検索技術などに応用する歌詞情報処理を研究しています．
キーワード / Technical Background
自然言語処理（文章生成，感情分析，談話構造解析，ベイジアンモデル，言語モデル，深層学習），音楽情報処理，知的インタフェース，人工知能
　所属学会
言語処理学会（正会員）
情報処理学会（正会員）
　経歴 / Biography
2018—現在
研究員
産業技術総合研究所
人間情報インタラクション研究部門
メディアインタラクショングループ
2016—2018
特別研究員(DC2)
日本学術振興会
2016—2017
協力研究員(招聘型)
産業技術総合研究所
2014—2016
ジュニア・リサーチ・アシスタント
卓越した大学院拠点
2014—2015
アドミニストレイティブ・アシスタント
科学技術振興機構「さきがけ」
　学歴 / Education
2018
博士（情報科学）
東北大学 大学院 情報科学研究科
指導教官 乾健太郎，松林優一郎
2015
修士（情報科学）
東北大学 大学院 情報科学研究科
指導教官 乾健太郎
2013
学士（工学）
東北大学 工学部
情報知能システム総合学科
指導教官 乾健太郎
研究紹介 / Research Projects
Atypical Lyrics Completion Considering Musical Audio Signals [2020-2021]
本研究は作詞中の歌詞の単語を補完する支援技術を開発しました． 例えば，(1)デスメタル楽曲のような激しい音響信号と，(2) "The [空白] in my heart" のような作詞途中の歌詞を入力すると，"devil" や "darkness" などの，楽曲と歌詞の雰囲気に合致した単語を補完することが可能となります．
この技術を実現するために，音響信号と製作途中の歌詞，単語の3種類のデータを「統一されたベクトル空間」へ埋め込みました． また，「ありきたりではない単語を補完」するために，「ありきたりな単語」をベクトル空間の遠い位置へ追いやることで，より創作的な単語の補完が可能となりました．
発表
MMM 2021
A Chorus-Section Detection Method for Lyrics Text [2020]
本研究は歌詞のサビに着目し，歌詞テキストのみからサビの位置を推定する新しい技術を開発しました． この技術を使えば，サビ位置に特化した歌詞の検索システムや，Kinetic Typographyなどの歌詞ビデオの創作支援技術の基礎技術としても利用できます．
歌詞のサビは，会話や小説などの文章とはことなり，同じフレーズを繰り返したり，より印象的な言葉を使ったりします． そこで我々は，これらのサビの手がかりをベクトルや行列として表現し，それらを入力した深層学習ベースの系列ラベル予測器を学習しました．
発表
ISMIR 2020
言語処理学会 2021
Query-by-Blending: A Music Exploration System Blending Latent Vector Representations of Lyric Word, Song Audio, and Artist [2019]
本研究は歌詞テキスト・音楽音響信号・アーティストのスタイル間の関係性に着目し，単語・曲・アーティストをクエリとして柔軟にブレンドできる新しい音楽発見システム「Query-by-Blending」を開発しました． 例えば，ユーザは単語「snow」とアーティスト「Lady GaGa」を入力し，これら両方とと類似した単語・曲・アーティストを探索することができます．
本システムを実現するためには単語・音響信号・アーティスト間の類似関係を計算する必要がありますが，そのような類似関係が記述されたデータセットはありません． そこで我々は，同一曲内の単語・音響信号・アーティストが近くに配置される統一されたベクトル空間を自動的に，つまり教師なし学習を用いることで構築しました．
発表
ISMIR 2019
A Melody-conditioned Lyrics Language Model [2017-2018]
　本研究はメロディと歌詞の関係性に着目します． この関係性を分析するためには音符と歌詞が対応づいたデータが必要となりますが，我々はそのデータを半自動的に1000曲分を作成しました． 分析の結果，長い休符の直後に文や段落の切れ目が来やすいということが定量的にわかりました． 「そんなこと当たり前じゃん」と思うかもしれませんが，個人の経験や常識だと思われている事象をデータから統計的に検証することも，情報科学研究の重要な役割です．
　更に我々は，この分析結果から着想を得て，メロディを入力するだけで，聞きやすく流暢な言葉遣いの歌詞を全自動生成する言語モデルを提案しました．
発表
NAACL-HLT 2018
言語処理学会 2018
自然言語処理研究会 2018
LyriSys: An Interactive Support System for Writing Lyrics Based on Topic Transition [2014-2017]
　本研究では，作詞支援インタフェース「りりしす」を開発しました． りりしすは楽曲の構造（Aメロ・Bメロ・サビ）や行数などを入力することで，これらの条件を満たした歌詞候補を列挙することができます． この操作によって，ユーザが単語列を探す手間が省けます．
　さらに各Aメロ・Bメロ・サビに対して，予め用意されている「恋愛」「回想」のようなストーリーの要素を選択するだけで，"大好き"や"思い出"のような各要素を象徴する単語で歌詞を生成することができます． これらのインタラクションにより，本来ならば人間がゼロからストーリーの流れを考えなければいけない作業が簡略化できます．
発表
ACM IUI 2017
WISS 2015
Modeling Storylines in Lyrics [2014-2018]
　本研究は歌詞のテーマとストーリー展開に着目します． 歌詞には「恋愛」や「明るい」といったようなテーマがあります． さらに歌詞の段落構造には「背景→回想→主張」のようなストーリー展開もあります． しかしながら，歌詞のデータにはテーマやストーリー展開といった情報が明示的に記載されていません．
　そこで我々は，テーマやストーリー展開を潜在変数とみなした確率モデルを構築することで，明示的に記載されていないテーマやストーリー展開を教師なし学習しました． 学習の結果，恋愛楽曲やHip-Hop楽曲など，様々なジャンルに顕著なストーリー展開が学習されていることが確認できました．
発表
IEICE Transaction
人工知能学会 2015
PACLIC 2014
言語処理学会 2014
Modeling Discourse Segments in Lyrics Using Repeated Patterns [2016]
　本研究は歌詞の繰り返し構造に着目します． 歌詞は1番と2番の歌詞ではサビがそっくりなことがあるように，同じフレーズを何回も繰り返します． 我々は，この歌詞にしか起こらない性質を，データから解き明かします．
　歌詞の繰り返し構造を類似度行列として表現することで，どこが段落の切れ目かを推定します． この手法は音楽情報処理技術で良く使われる手法であり，本研究はそれを歌詞に適応した初の研究です． 実験の結果，繰り返し構造を用いることが，段落の切れ目推定タスクに寄与していることが確認できました．
　本技術を応用すると，例えば，人間が曲を歌った瞬間に歌詞カードを作るなどのアプリケーションが実現可能となります．
発表
COLING 2016
発表文献 / Publications
◆ 学術論文紙 / Journal Papers
Hiromu Yakura, Kento Watanabe, Masataka Goto. "Self-Supervised Contrastive Learning for Singing Voices". IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol.30, pp.1614–1623, 2022. pdf BiBTex
Takayuki Nakatsuka, Kento Watanabe, Yuki Koyama, Masahiro Hamasaki, Masataka Goto, Shigeo Morishima. "Vocal-Accompaniment Compatibility Estimation Using Self-Supervised and Joint-Embedding Techniques". IEEE Access, Vol.9, pp.101994–102003, 2021. pdf BiBTex
Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Satoru Fukayama, Tomoyasu Nakano, Masataka Goto. "Modeling Storylines in Lyrics". IEICE Transactions on Information and Systems, Vol.E101.D, No.4, pp1167–1179, April 2018. pdf BiBTex
鍋島 啓太, 渡邉 研斗, 水野 淳太, 岡崎 直観, 乾 健太郎. "訂正パターンに基づく誤情報の収集と拡散状況の分析". 自然言語処理 Vol.13, No.2, pp.461–484, June 2013. pdf BiBTex
◆ 国際会議 / International Conference & Workshop
Kento Watanabe, Masataka Goto. "Atypical Lyrics Completion Considering Musical Audio Signals". In Proceedings of the 27th International Conference on Multimedia Modeling (MMM 2021), pp.174–186, January 2021. link BiBTex
Kento Watanabe, Masataka Goto. "Lyrics Information Processing: Analysis, Generation, and Applications". In Proceedings of the 1st Workshop on NLP for Music and Audio (NLP4MusA), pp.6–11, October 2020. pdf BiBTex
Kento Watanabe, Masataka Goto. "A Chorus-Section Detection Method for Lyrics Text". In Proceedings of the 21st annual conference of the International Society for Music Information Retrieval (ISMIR 2020), pp.351–359, October 2020. pdf BiBTex
Kento Watanabe, Masataka Goto. "Query-by-Blending: A Music Exploration System Blending Latent Vector Representations of Lyric Word, Song Audio, and Artist". In Proceedings of the 20th annual conference of the International Society for Music Information Retrieval (ISMIR 2019), pp.144–151, November 2019. pdf DEMO BiBTex
Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, Kentaro Inui. "Unsupervised Learning of Style-sensitive Word Vectors". In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), pp.572–578, July 2018. pdf BiBTex
Kento Watanabe, Yuichiroh Matsubayashi, Satoru Fukayama, Masataka Goto, Kentaro Inui, Tomoyasu Nakano. "A Melody-conditioned Lyrics Language Model". In Proceedings of the 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp.163–172, June 2018. pdf BiBTex Git Hub Git Hub
Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Tomoyasu Nakano, Satoru Fukayama, Masataka Goto. "LyriSys: An Interactive Support System for Writing Lyrics Based on Topic Transition". In Proceedings of the 22nd Annual Meeting of the Intelligent User Interfaces Community (ACM IUI 2017), pp.559—563, March 2017. pdf BiBTex
Kento Watanabe, Yuichiroh Matsubayashi, Naho Orita, Naoaki Okazaki, Kentaro Inui, Satoru Fukayama, Tomoyasu Nakano, Jordan B. L. Smith, Masataka Goto. "Modeling Discourse Segments in Lyrics Using Repeated Patterns". In Proceedings of the 26th International Conference on Computational Linguistics (COLING 2016), PP.1959—1969, December 2016. pdf BiBTex
Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Masataka Goto. "Modeling Structural Topic Transitions for Automatic Lyrics Generation". In Proceedings of the 28th Pacific Asia Conference on Language, Information and Computing (PACLIC 2014), pp.422—431, December 2014. pdf BiBTex
Naoaki Okazaki, Keita Nabeshima, Kento Watanabe, Junta Mizuno, Kentaro Inui. "Extracting and Aggregating False Information from Microblogs". In Proceedings of the Workshop on Language Processing and Crisis Information 2013 (LPCI 2013), pp.36–43, October 2013. pdf BiBTex
◆ 国内会議 / Domestic Conference
渡邉 研斗, 後藤 真孝. "入力文章の内容に沿った新たな歌詞を生成する作詞支援システムと剽窃リスクを下げる歌詞生成手法". 言語処理学会第29回年次大会 (NLP 2023), pp.964-969, March 2023. pdf BiBTex
矢倉 大夢, 渡邉 研斗, 後藤 真孝. "歌声のための自己教師あり対照学習による特徴量表現の獲得手法". 第135回音楽情報科学研究発表会 (MUS), pp.1-8, No.9, September 2022. pdf BiBTex
渡邉 研斗, 後藤 真孝. "歌詞のサビ区間推定手法". 言語処理学会第27回年次大会 (NLP 2021), pp.958-961, March 2021. pdf BiBTex
渡邉 研斗, 後藤 真孝. "ありがちでない歌詞生成に向けた曲調と歌詞の関係に基づくベクトル空間モデル". 言語処理学会第25回年次大会 (NLP 2019), pp.958-961, March 2019. pdf DEMO BiBTex
赤間 怜奈, 渡邉 研斗, 横井 祥, 小林 颯介, 乾 健太郎. "スタイルの類似性を捉えた単語ベクトルの教師なし学習". 人工知能学会第32回全国大会 (JSAI 2018), June 2018. pdf BiBTex
渡邉 研斗, 松林 優一郎, 深山 覚, 乾 健太郎, 後藤 真孝, 中野 倫靖. "メロディ条件付き歌詞言語モデル". 言語処理学会第24回年次大会 (NLP 2018), pp.1296-1299, March 2018. pdf BiBTex
渡邉 研斗, 赤間 怜奈, 横井 祥, 田 然, 乾 健太郎. "話題と言葉遣いの違いを考慮した潜在トピックモデル". 言語処理学会第24回年次大会 (NLP 2018), pp.643-646, March 2018. pdf BiBTex
赤間 怜奈, 横井 祥, 渡邉 研斗, 田 然, 小林 颯介, 乾 健太郎. "サンプリング戦略に基づく単語ベクトルの意味成分とスタイル成分の分離". 言語処理学会第24回年次大会 (NLP 2018), pp.718-721, March 2018. pdf BiBTex
田 然, 渡邉 研斗, 乾 健太郎. "多因子単語埋め込みを用いる複数分野感情極性の転移学習". 言語処理学会第24回年次大会 (NLP 2018), pp.444-447, March 2018. pdf BiBTex
赤間 怜奈, 横井 祥, 渡邉 研斗, 乾 健太郎. "発話の語の文体ベクトルの半教師あり学習". 第8回対話システムシンポジウム, Vol.2017-SIG-SLUD-B508-27, October 2017. pdf BiBTex
渡邉 研斗, 松林 優一郎, 深山 覚, 中野 倫靖, 後藤 真孝, 乾 健太郎. "メロディと歌詞の相関に基づく自動歌詞生成". 第231回自然言語処理研究会, Vol.2017-SLP-116, No.16, May 2017. pdf BiBTex
清野 舜, 田 然, 渡邉 研斗, 岡崎 直観, 乾 健太郎. "談話関係認識のための時制情報の分析". 言語処理学会第23回年次大会 (NLP 2017), pages 827–830, March 2017. pdf BiBTex
渡邉 研斗, 松林 優一郎, 乾 健太郎, 深山 覚, 中野 倫靖, 後藤 真孝. "ストーリー展開と一貫性を同時に考慮した歌詞生成モデル". 人工知能学会第30回全国大会 (JSAI 2017), May 2017. pdf BiBTex
渡邉 研斗, 松林 優一郎, 乾 健太郎, 中野 倫靖, 深山 覚, 後藤 真孝. "LyriSys: 歌詞の大局的構造に基づいた作詞支援インタフェース". In Proceedings of the 23rd Workshop on Interactive Systems and Software (WISS 2015), December, 2015. pdf BiBTex
清野 舜, 渡邉 研斗, 岡崎 直観, 乾 健太郎. "Bi-gram連接表と単語列変形規則に基づく回文自動生成". 人工知能学会第29回全国大会 (JSAI 2015), June, 2015. pdf BiBTex
渡邉 研斗, 松林 優一郎, 乾 健太郎, 後藤 真孝. "大規模歌詞データからの潜在的トピック遷移のモデル化". 情報処理学会第77回全国大会, Vol.2, pp.371—372, March, 2015. pdf BiBTex
渡邉 研斗, 松林 優一郎, 乾 健太郎, 後藤 真孝. "大局的な構造を考慮した歌詞自動生成システムの提案". 言語処理学会第20回年次大会 (NLP 2014), pp.694–697, March, 2014. pdf BiBTex
渡邉 研斗, 鍋島 啓太, 岡崎 直観, 乾 健太郎. "Twitter上での誤情報と訂正情報の自動分類". 言語処理学会第19回年次大会 (NLP 2013), pp.178–181, March, 2013. pdf BiBTex
渡邉 研斗, 鍋島 啓太, 水野 淳太, 岡崎 直観, 乾 健太郎. "Twitterにおける誤情報の拡散収束過程の可視化". 情報処理学会第75回全国大会, Vol.1, pp.657–658, March, 2013. pdf BiBTex
◆ その他 / Others
赤間 怜奈, 渡邉 研斗, 横井 祥, 乾 健太郎. "発話スタイル空間の教師なし学習およびスタイル制御可能な対話システムの実現". 第12回NLP若手の会シンポジウム, September 2017.
渡邉 研斗, 松林 優一郎, 乾 健太郎, 深山 覚, 中野 倫靖, 後藤 真孝. "ストーリー展開を考慮した自動歌詞生成システム". 第10回NLP若手の会シンポジウム, September 2015.
渡邉 研斗, 松林 優一郎, 乾 健太郎, 後藤 真孝. "実用的な自動歌詞生成に向けて". 第9回NLP若手の会シンポジウム, September 2014.
渡邉 研斗, 岡崎 直観, 乾 健太郎. "ツイッターからの社会の「論点」を探る. 第8回NLP若手の会シンポジウム". 第9回NLP若手の会シンポジウム, September 2013.
◆ 学位論文 / Thesis
博士論文： "Modeling Discourse Structure of Lyrics". pdf
修士論文： "歌詞の構造や音韻を考慮した自動歌詞生成に関する研究".
学士論文： "ツイートの自動分類による誤情報の拡散収束過程の分析".
開発 / Works
再生した歌詞を自動的にモーショングラフィックスとして表示するスピーカー「LyricSpeaker」「歌詞からサビ区間を検出する」機能および「歌詞の印象を推定する」機能の開発
BGM・効果音ストックサービス「Audiostock」「手元の楽曲で、似たイメージの曲を探せる」機能の開発
BGM・効果音ストックサービス「Audiostock」音響信号解析に基づく類似作品の表示・検索機能の開発
音楽発掘サービス「Kiite」音楽類似度推定技術の研究開発
歌詞アニメーション制作サービス「TextAlive」形態素解析API開発
メディア / Media
2022-
"2023年度 東北大学 工学部案内「未来への挑戦」卒業生の活躍インタビュー". 東北大学工学部
2018/4/29
"曲に合う歌詞 自動生成".
日本経済新聞朝刊
2016/3/11
"ミクにあいたい→そうだVRで召喚しよう！　一途な思いが実現した"ブラウザで動くVRアプリ"がすごい完成度".
ITmedia
2014-2019
"2014年度から2019年度東北大学オープンキャンパス学科紹介パンフレット「10年後の社会をつくるあなたのために」情報工学コース学生インタビュー". 東北大学工学部
2013/7/26
"つながる力 次こそ真価".
朝日新聞朝刊
受賞 / Awards
言語処理学会 第29回年次大会 委員特別賞
第135回音楽情報科学研究会発表会 ベストプレゼンテーション賞 Best Research部門（共著）
言語処理学会 第27回年次大会 委員特別賞
人工知能学会 第32回全国大会 全国大会優秀賞（共著）
東北大学 電気・情報系優秀学生賞
人工知能学会 音声・言語理解と対話処理研究会 第81回研究会 第８回対話システムシンポジウム 学生奨励賞（共著）
NLP若手の会 第12回シンポジウム 奨励賞（共著）
情報処理学会 第231回自然言語処理研究会 学生奨励賞
言語処理学会 2013年度論文賞
情報処理学会第 75回全国大会 学生奨励賞
NLP若手の会 第10回シンポジウム デモ賞
NLP若手の会 第9回シンポジウム 奨励賞
競争的資金 / Research Grants
2020—2022
日本学術振興会 若手研究（代表者）
作者の意図抽出と文章の自動生成を融合した包括的な作文支援システム
2016—2018
日本学術振興会 特別研究員 (DC2)（代表者）
言語情報と音楽情報の相互関係を考慮した歌詞の構造解析と生成
アクティビティ / Activity
2023-
言語処理学会 編集委員
2022
NLP若手の会 (YANS) 第17回シンポジウム 招待セッション登壇
2021
言語処理学会 第27回年次大会 ワークショップ「若手研究者交流のニューノーマルを考える」登壇
2020-2021
NLP4MusA オーガナイザ
2019-2022
最先端NLP勉強会 実行委員 委員長
2018/8/30-9/1
初音ミク「マジカルミライ 2019」企画展 Collaboration with Songle Sync
2018/8/25
LIGHT UP NIPPON HOKKAIDO feat. 初音ミク Collaboration with Songle Sync
2018/8/25-26
初音ミク「マジカルミライ 2018」企画展 Collaboration with Songle Sync
2018/8/3-4
第10回最先端NLP勉強会 発表参加
2018/9/15-16
第9回最先端NLP勉強会 発表参加
2017/2/24-25
第1回若手異分野交流研究会 発表参加
2017/2-3
産業技術総合研究所 インターン．研究テーマ：メロディと歌詞の相関に基づく自動歌詞生成
2015—2017
NLP若手の会 実行委員
2016/9/11-12
第8回最先端NLP勉強会 発表参加
2016/8-9
産業技術総合研究所 インターン．研究テーマ：メロディと歌詞のアライメントデータの自動作成手法の提案
2016/2-3
産業技術総合研究所 インターン．研究テーマ：繰り返し構造に基づく歌詞の構造モデリング
2015/9-10
産業技術総合研究所 インターン．研究テーマ：音響特徴量を考慮した作詞支援統合環境の開発
2015/8/29-30
第7回最先端NLP勉強会 発表参加
2015/3-4
産業技術総合研究所 インターン．研究テーマ：歌詞生成・支援技術のエラー分析と改善策の考察
2014/9-10
産業技術総合研究所 インターン．研究テーマ：歌詞内容の遷移を考慮した歌詞の自動生成
2014/3
言語処理学会第20回年次大会 招待論文講演
ミク活 （プライベート）/ Hatsune Miku Activity
2022
初音ミク「マジカルミライ 2022」参加
2021
初音ミク「マジカルミライ 2021」参加
2020
初音ミク「マジカルミライ 2020」参加
2019
初音ミク「マジカルミライ 2019」参加
2019
SNOW MIKU LIVE 2019 参加
2018
初音ミクシンフォニー 2018 参加
2018
初音ミク「マジカルミライ 2018」参加
2017
初音ミクシンフォニー 2017 参加
2017
初音ミク「マジカルミライ 2017」参加
2017
初音ミク×鼓童 スペシャルライブ 2017 参加
2016
初音ミクシンフォニー 2016 参加
2016
初音ミク「マジカルミライ 2016」参加
2016
MIKU EXPO JAPAN TOUR 参加
2015
初音ミク「マジカルミライ 2015」参加
2015
SNOW MIKU LIVE 2015 参加
2014
初音ミク「マジカルミライ 2014」参加
2014
雪祭初音鑑 参加
2013
初音ミク「マジカルミライ 2013」参加
2013
初音ミク ライブパーティー2013 in Sapporo 参加
2012
ミクの日大感謝祭 参加
スキル / Skill

Python
JavaScript
HTML/CSS
C/C++
C#
Unity
AfterEffects
PremierePro
Photoshop
Cubase
VOCALOID
MMD
Shade
ソフトウェア / Software
Real-Time Speech Translater
マイク入力からリアルタイムで文章を書き下し、リアルタイムで翻訳するWebアプリ。Google翻訳とDeepL翻訳に対応。 Git Hub
Melody-conditioned Lyrics Language Model
入力メロディに対して歌いやすい歌詞を自動生成するRNN-base言語モデルの訓練用Pythonスクリプト。歌詞テキストから自動的にアライメントされた疑似メロディを生成するスクリプトも用意。MIDIファイルを入力して歌詞を自動生成するスクリプトも用意。 Git Hub
Text2HeatMap
テキスト中の各単語に色をつけるサービス。 言語処理系の論文中の図をつくるのに役立つ。 Demo
Melody-Lyric Alignment Data
歌声合成音声システム「UTAU」と歌詞テキストをアライメントするスクリプト。 本スクリプトにより、メロディと歌詞とその楽曲構造（アクセント・行・段落）が対応づいたデータを自動的に作成可能。 Git Hub
MMD × Songle
Webブラウザ上で3Dモデルの音楽ライブを鑑賞するプログラム。 音楽理解技術Songleを用いて、音楽に合わせて自動的にライブ演出を生成します。 Git Hub NicoNico DEMO
MMD Performer
音楽ライブの演者の気分になれるChrome拡張。 YouTubeの音楽のコード進行を解析するとこで、誰でもBGMを演奏した気になれる、演奏支援機能を搭載。 更に、キャラクターの3Dモデルを読み込むことで、一緒に音楽ライブを演じた気分になれる。 Git Hub Chrome Extension NicoNico
Miku Miku Summoner
WebカメラとARマーカーを使った、Webブラウザで動くARアプリ。 Miku Miku Danceのモデルファイルやモーションファイルなどを、好みに応じて追加することができる。 さらに音声認識機能により、さまざまな指令を出すことができる。 Git Hub NicoNico DEMO
Miku Miku Hologram
ピラミッド状の透明板に投影することで全方位から3Dモデルを鑑賞できるWebアプリ。 好みのモデルやモーションを入力するだけで、疑似立体映像用の4面動画を作ることができる。 Git Hub NicoNico DEMO
N-gram Language Model
Pythonで実装したN-gram言語モデル。 Kneser-nayスムージングを実装。 学習したN-gramから文を生成するビーム探索も実装。 実行速度より、モデルの理解のために実装 Git Hub
Mixture of Unigram Model
Pythonで実装した混合ユニグラムモデル。 最も単純なトピックモデル。 文書に１つの隠れ状態を持ち、隠れ状態の数だけユニグラムモデルが学習される。 また、隠れ状態の数をノンパラメトリックに推定できる「無限混合ユニグラムモデル」も実装。 Git Hub
Latent Dirichlet Allocation (LDA)
Pythonで実装したLDA、俗に言うトピックモデル。 実行速度より、モデルの理解のために実装。 Git Hub
Hidden Markov Model (HMM)
Pythonで実装したベイジアンHMM。 単語間の隠れ状態の繊維構造を教師なし学習する。 また、隠れ状態の数をノンパラメトリックに推定できる「無限HMM」も実装。 Git Hub
Content Model
Pythonで実装したベイジアンHMMを単語単位から段落単位に拡張したモデル。 段落間のトピック遷移を学習することができる。 また、隠れ状態の数をノンパラメトリックに推定できる「無限コンテンツモデル」も実装。 Git Hub
Wikipedia Extractor
Wikipedia記事をクロールするPythonスクリプト。 Git Hub
json2vsqx
json形式ファイルからVOCALOID用のvsqxへ変換するPythonスクリプト。 Git Hub
YouTubeショートカット
Google Chromeで再生されているニコニコ動画，YouTubeの動画を一時停止・再生するAppleScript。 Git Hub
連絡先 / Contact
Tel:
029-862-6516
住所:
〒305-8568 茨城県つくば市梅園1-1-1 中央第2
E-mail:
kento.watanabe@aist.go.jp
Twitter:
@kento_lyrics
;