What is Nico Nico Douga Research?
はじめに
ニコニコ動画は株式会社ニワンゴが提供している動画共有サイトです． 2006年1月にサービス開始し，2010年3月の時点で登録会員数は1895万（有料会員数は2012年1月の時点で150万人）を数え，登録された動画数は700万本を越えています． 基本的なサービスは世界的に有名な動画共有サイトであるYouTubeとほぼ同じですが，幾つかのユニークな機能を持ち，急速に多くのユーザを獲得しました． そのユニークな機能的特徴，そして集まったユーザたちの文化的特徴により，ニコニコ動画は研究的にもとても面白い存在になっています． 本ウェブページでは，ニコニコ動画研究の意義や面白さの一端をご紹介できればと思います．
ニコニコ動画研究とは？
「ニコニコ動画の研究をしている」というと，どうしてもネタっぽくなってしまうのですが，ニコニコ動画を研究対象とすることの意義について述べたいと思います．
ニコニコ動画
ニコニコ動画は株式会社ニワンゴが提供している動画共有サイトです． 2006年1月にサービス開始し，2010年3月の時点で登録会員数は1895万を数え，登録された動画数は500万本を越えています． 基本的なサービスは世界的に有名な動画共有サイトであるYouTubeとほぼ同じですが，幾つかのユニークな機能を持ち，急速に多くのユーザを獲得しました． もっとも特徴的なのは動画の上にコメントを重畳表示できる機能です． ユーザはコメントを動画再生中の任意の時間の（ある程度）任意の場所にコメントを表示することができ，ユーザはまるで多くの人々と同時に動画を見ているかのような感覚を味わえます． 一方で作者にとっては，視聴者がどのポイントに特に興味を持ってくれたかを知ることができるため，結果として作者と視聴者間で非常に密なインタラクションが行われる創作の場となっています．
とかなんとか書きましたが，詳しくは実際に体験してみるのが一番です． あとはWikipediaやニコニコ大百科にも詳しく書いています． コメント機能を疑似同期という観点で解説する濱野さんの本もニコニコ動画を理解する一助となると思います． （他にも良い資料がありましたらご一報ください）
ニコニコ動画で何を研究するのか？
ニコニコ動画を研究対象として扱う理由として，あくまで私の思いつくところですが，2つ挙げられます． 一つはCGMサイトとしてのニコニコ動画の面白さです． とにかく多くの作者，多くの視聴者，多くの作品があります． それらは，もちろんある程度の偏りがあるとはいえ，内容もテーマもスキルもバリエーションに富んでいます． そしてなにより特徴的なのがそれら作者，視聴者，作品がすごい勢いでインタラクションをし，新しい作品や活動が生み出されている点です． このようなニコニコ動画上で生じる現象自体が研究対象となります． 主な研究目的としては新しいソーシャルメディアおよびその上での人々の振る舞いの分析，新しいソーシャルメディア設計のための知見獲得でしょうか．
もう一つは動画データセットとしてのニコニコ動画の面白さです． ニコニコ動画は作者による説明文，タグ，マイリスト，タイムラインに沿ったコメントなどたくさんの動画メタデータを蓄積しています． 特にタイムラインに沿ったコメントは他にはないリッチな動画メタデータであり，それが膨大にあるニコニコ動画は，動画データセットとして魅力的であると思われます． また，似たようなコンテンツが大量に作られることも，統計的にパターンを抽出して特徴を読み取ったり再利用したりできる点でとても面白いと思われます．
動画と（テキスト）コミュニケーションの組み合わせはニコニコ動画だけのスタイルではなく(*)，今後も増えていくことと思われます． すでに存在するものとしてはライブストリーミング＋マイクロブログ（Twitter）ですが，近々出てくるであろうスマートTVなどもそのような機能を持つと思われます． ニコニコ動画を対象とした研究は，単なる流行サイトの分析ではなく，このような発展性を持つものと思われます． 検索エンジン，ブログ，SNS，Social bookmark，動画配信，マイクロブログ，いずれも海外サービスが発端となって世界を席巻したものばかりですが，ニコニコ動画という世界的に見ても先端的な国産サービスを研究しその発展に貢献することは重要であると考えます．- ※. 同じ動画を見ながらコミュニケーションする＝共同注視とコミュニケーションの一体化，というのは，もともとそうであった（一緒に居て同じものを見たり聞いたりしながら会話する）ものが技術的制約により切り離されてしまっただけなので，ここに辿りつくことは当たり前かもしれません．ただそれが単なる原点回帰ではなく，インターネット上にある（時空間の制約がない＆デジタル）というのが大きな違いでしょうか．
ニコニコ動画研究のサーベイ（ただし情報系に限る）
以下，ざっと調べて見つけたニコニコ動画を扱った研究（ただし情報系に限る）を紹介します． 何をやっているか，と，どんなデータを使っているかを簡単に説明しているだけですので，詳しくは各論文をご覧ください． 人文系も面白そうなのですが，未チェックです．お勧めの論文や書籍がありましたらご一報いただけるとありがたいです．
雑感
2010年度雑感
雑感としてはタグやコメント等テキストを動画メタデータとして分析，検索に利用する研究が多いという印象です． 例えば説明文，タグ，コメントを動画に対するメタデータとしてとらえ，検索，分類，構造化などに利用するケース． これは情報検索，自然言語処理，ウェブ研究の流れであると思われます． 他にはコメントをシーンに対するメタデータとしてとらえ，シーン検出，ハイライト抽出などに利用するケース． こちらは動画像処理や音楽情報処理研究の流れだと思われます． 大量のメタデータ付き動画があるので，既存の技術を適用して面白い結果を掘り起こしているという感じです．
動画本体を解析して利用した研究はまだあまり多くないという印象です． これは動画本体の著作権の問題と，動画の内容も品質もばらばらなため，現時点ではあえてニコニコ動画の投稿動画を使うという強いモチベーションがない限り，研究対象として選ぶ必然性がないからだと思われます（論文で処理対象とした動画の説明をするのも一苦労ですし・・）． この点で突っ走っているのが産総研の後藤さんで，動画に対する自動コメント機能や自動ダンス生成など，単なる動画ではなく「ニコ動的な動画」という新しいメディアを対象とした研究をやっています． 現時点ではこのように強い動機が必要なのですが，ニコニコ動画はテキストメタデータ付き動画が無数にあるという希少なデータセットですので，自然言語処理技術がコーパスの登場で飛躍的に向上したように，環境さえ整えば動画像処理や音楽情報処理技術にとって重要なデータセットに化けるのではと個人的には期待しています．
人物（作者や視聴者）やそのインタラクションに着目した研究も多くありません． CGMやソーシャルメディアを対象とした研究では珍しくは無いのですが，ニコニコ動画はそのデータの特性上，作者や視聴者の情報を取得するのが困難だという理由が大きそうです．ただ他のデータと比べて取得しにくいといっても，これだけ創作に関するインタラクションがデジタル化され蓄積されている場は，おそらく他に類を見ないものなので，研究対象としてとても面白いと思います．私個人としてもここに興味があります．
コメントを動画メタデータとして利用した研究は多くありますが，コメント間の関係性（位置関係や時間関係）を利用した研究や，動画中の出現オブジェクトとコメントとの関係に着目した研究は，まだまだこれからのようです． 文書検索や文書分類においても，出現単語の頻度というシンプルな情報を利用していたものから，単語間の関係性や単語の背景にある潜在因子を利用するようになることで，精度向上してきたという歴史があるので，動画においても出現コメントを様々な視点で解析することで性能向上や新しい利用方法が生まれてくるのではと考えられます． このあたりは京都大学の中村先生が積極的に取り組んでいらっしゃるという印象です．
2011年度雑感
気がつけばたくさんのニコニコ動画論文が発表されていました．更新が滞っていてすみません．時間情報付きのコメントデータを動画アノテーションとして利用する研究が増えているようです．動画中の適切な広告挿入タイミングの推定，ニコ動コメント的なアノテーションのための情報共有アーキテクチャ，ソーシャルノベルティ，など新しい問題設定が出てきて面白いですね．
また，今年はニコニコの名を冠する学会（？），ニコニコ学会βが立ち上がりました．私も中の人として参加しています．2009年にはニコニコ動画データ分析研究発表会が開催されましたが，ニコニコ動画に興味がある人が，仕事や専門などとは関係なしにニコニコ動画を研究する，そんなことが今後活発になってくるのでは，と個人的には期待します．なお，そのようなユーザ参加型研究について，私の恩師である武田教授が語っています．そちらもご参考に．＞祝ニコニコ学会立ち上げ～＜私家版＞ニコニコ研究宣言
2011年度最後に大きなイベントが滑り込んできたので追記です．音楽情報科学研究会・第94回研究発表会では「歌声情報処理最前線!!!」と称したスペシャルセッションにて，ニコニコ動画に投稿されたVOCALOID動画のランキング紹介動画を自動生成するシステム「日刊VOCALOIDランキング」のシステム概要と運用について作者自身がハンドルネームで登壇発表を行いました．これまで研究者がニコニコ動画を対象とした研究を紹介してきましたが，ついにニコニコ動画に棲息する方が研究業界にやってくる話を紹介することに．rankingloidさん自身も技術的にそんな難しいことはやっていないとおっしゃるように，そのシステム自体に何か特殊な技術が入っているわけではありませんが，Vocaloidに限らずCGMでは毎日膨大な新着情報が届くという状況はどこにでもあるので，新着コンテンツのランキング動画自動生成というアプローチには可能性を感じます．役割としてはフィルタリングやレコメンデーションと同じですが，サービスの出力結果をランキング動画というコンテンツにしてしまうのは面白いと思いました．
論文リスト
記載している著者は必ずしも主著者ではありません．学生さんだといつのまにかWebページが消えていたりするので，研究室や指導教官のWebページを優先しています．
- 動画共有に基づいた非同期コミュニケーションの連帯感を向上させるインタフェース
- WISS 2007
- 田中研＠筑波大学
- ニコニコ動画に様々な機能（コメント評価など）を追加してユーザ評価．
- 利用しているデータは動画本体，コメント．
- ニコニコ動画におけるタグ共起ネットワークの特徴抽出
- 人工知能学会 知識ベースシステム研究会, 2008-01-15
- 伊藤聖修＠北海道大学
- 8日間のランキング上位動画のタグを調べてタグが淘汰されていく様子を分析．
- 利用しているデータは動画検索結果，動画についているタグ．
- Network analysis of massively collaborative creation of multimedia contents: case study of hatsune miku videos on nico nico douga
- UXTV '08
- 濱崎雅弘＠産総研
- 初音ミク動画の動画投稿者の創作を4種類（作曲，作画，調教，編集）に分類し，これらの引用関係を分析．作曲者が創作の連鎖の起点となり，作画者が再利用を推進することで創作の連鎖が起きていることがわかった．
- Can Social Annotation Support Users in Evaluating the Trustworthiness of Video Clips?
- WICOW '08
- 中村研＠京都大
- ユーザのコメントから動画の信頼度を推定する．コメントのポジティブ・ネガティブ判定を行い，それぞれのコメントが動画の時間軸上でどのような出現分布をしているかを調べる．例えば前半はポジティブだが後半はネガティブが多いなら，信頼度の低い動画と考えられる．ポジ・ネガコメントのタイムライン上の出現分布が見えるプロトタイプを作成．
- マンガ的手法を用いたニコニコ動画ナビゲーション
- 情報処理学会 ヒューマンコンピュータインタラクション研究会, 2008-10-30
- 宮下研＠明治大
- コメント数の多い場面のサムネイル画像のリストを漫画風に表示．
- 利用しているデータは動画本体，コメントの時刻情報．
- ニコニコ動画における映像要約とサビ検出の試み
- 情報処理学会 ヒューマンコンピュータインタラクション研究会, 2008-10-30
- 宮下研＠明治大
- 楽曲を構造化しコメント頻度との関係性を調べてサビ検出をする．
- 利用しているデータは動画本体，コメントの時刻情報．
- ニコニコ動画コンテンツにおける特徴的分布則
- 日本物理学会, 2009-08-18
- 島田尚＠東大物理工学専攻
- 視聴回数とブックマーク数の頻度分布をみてベキ分布との関係性を調べる．
- 利用しているデータは動画の視聴回数とブックマーク数．
- ソーシャルアノテーションに基づく動画検索手法
- DEIM, 2009
- 中村研＠京都大
- タグやコメントを使って動画検索をリランキング
- 利用しているデータは動画につけられたタグとコメントの内容と時刻情報．
- MusicCommentator: 音楽に同期したコメントを自動生成するシステム
- 情報処理学会 音楽情報科学研究会, 2009-07-22
- 後藤研＠産総研
- 音響信号とコメントの関係を調べて音楽に合わせたコメントを自動生成
- 利用しているデータは動画本体，コメントの内容と時刻情報．
- ダンス動画コンテンツを再利用して音楽に合わせた動画を自動生成するシステム
- Web of Documents, Web of People, and Web of Creativity
- MusicCommentator: Generating Comments Synchronized with Musical Audio Signals by a Joint Probabilistic Model of Acoustic and Textual Features
- ENTERTAINMENT COMPUTING - ICEC 2009
- 後藤研＠産総研
- 動画共有サイトにおける大規模な協調的創造活動の創発のネットワーク分析
- 人工知能学会論文誌, 2010
- 濱崎雅弘＠産総研
- 初音ミク動画の動画投稿者の創作を4種類（作曲，作画，調教，編集）に分類し，これらの引用関係を分析．作曲者が創作の連鎖の起点となり，作画者が再利用を推進することで創作の連鎖が起きていることがわかった．
- 利用しているデータはタグと動画作者，動画説明文中に記載された引用関係
- 投稿ユーザコメントとWeb ページ文脈を用いた共有動画シーン検索方式
- DEIM 2010
- 角谷研＠兵庫県立大
- Webページから関連動画のシーン検索にニコニコ動画のコメントを利用
- 利用しているデータは時間情報付きのコメントデータ．
- ニコニコ探検くらぶ：ソーシャルアノテーションとキーワード群に基づく動画要約
- インタラクション 2010
- 大須賀研＠電通大
- コメントを使ったシーン検索・動画要約．動画をある単位時間でユニットに分割し，その時間帯のコメントを各ユニットの特徴量とする．
- 利用しているデータは時間情報付きのコメントデータ．
- NicoScene: Video Scene Search by Keywords Based on Social Annotation
- 大須賀研＠電通大
- ACTIVE MEDIA TECHNOLOGY, LNCS, 2010
- 動画インデックスのための登場人物の主役度および脇役度の推定
- 視聴者コメントに基づく動画の検索手法
- 電子情報通信学会総合大会, 2010-03-02
- 伊藤研究室＠九州大学
- 情報追加型UGCにおけるP2Pを利用した付加情報共有方式
- 電子情報通信学会 ネットワークシステム研究会, 2010-07-08
- 高橋研究室＠京大
- 情報追加型UGCにおける付加情報，要するにニコニコ動画のコメントをP2Pで共有する．ニコニコ動画のコメントはコメント間の順序関係はあまり重要ではない，コメントが欠落してもあまり問題ない，という特徴があるためP2Pの情報共有に向いている．シミュレーションで評価実験．
- ひとこと：ニコニコ動画のデータを使った研究ではないが，こういう研究もあるということで．
- 共感度検索のための動画アノテーション分析
- 情報科学技術フォーラム, 2010-08-20
- 伊藤研究室＠九州大学
- 動画投稿サイトで付与された動画タグの階層化
- An Experimental Analysis of Accumulated Audience’s Comments for Video Summarization
- International Journal of Informatics Society, 2010
- 視聴者コメントを用いた広告動画挿入タイミング決定アルゴリズムの提案と評価
- 情報処理学会論文誌, 2011-02-15
- 村山研究室＠岩手県立大
- 動画中のどのタイミングで広告を入れると効果的かを判別する．動画の単位時間ごとのコメント数に着目し，コメント数の変化から動画の視聴を妨げないタイミングを推定する．
- 視聴者コメントを用いた動画検索支援のためのダイジェスト動画作成アルゴリズムの検討
- 情報処理学会全国大会, 2011-03-02
- 村山研究室＠岩手県立大
- コメントを用いてダイジェスト動画に必要なシーンの抽出を行う．
- ニコニコ動画のログデータを用いたソーシャルノベルティのある動画の発見に関する研究
- 情報処理学会 データベース・システム研究会, 2011-10-27
- 太田研究室＠電通大
- 「もっと評価されるべき」タグの分析．コメント中の単語，再生数，コメント数，マイリスト数を素性としてSVMで「もっと評価されるべきかどうか判別器」を作成する．
- 映像に付与されたコメントを用いた登場人物が注目されるシーンの推定
- 情報処理学会論文誌, 2011-12-15
- 中村研究室＠京都大
- コメントを用いて，映像に登場する人物が視聴者の注目を集めているシーンの推定と各シーンにおける各登場人物の活躍の度合いの推定を行う．コメントに人物やキャラクターの名前やあだ名が含まれていると，そのシーンに登場しているおよび注目されているとみなす．
- Emotional video ranking based on user comments
- iiWAS '11, 2011-12-05
- 伊藤研究室＠九州大学
- 動画コメントの「ｗ」の量を動画の評価指標として利用．動画中のコメント全体に占める「ｗ」の割合から指標を算出．提案指標と再生回数とを，8人の被験者による動画に対する評価との相関係数を調べたところ，提案指標は再生回数と比較して「笑える」「楽しい」において高い相関が得られた．一方で再生回数は「もう一度見たい」と高い相関がみられた．
- 関連サイト：SeeMore ニコニコ動画てきとう検索エンジン
- 日刊VOCALOIDランキング: ランキング動画全自動生成システムとその運用
- 情報処理学会 音楽情報科学研究会, 2012-02-03
- rankingloid（ニコニコランキング動画制作組合）
- 日々，膨大な新作が投稿されるVOCALOID動画の視聴を支援するために，毎日動画のランキングを紹介する動画を自動生成するシステム．ランキング対象動画の抽出，ランキング生成，サムネイル抽出，ランキング紹介動画の生成までを全て自動化している．
- 関連サイト：日刊VOCALOIDランキング
- 初音ミク，ニコニコ動画，ピアプロが切り拓いたCGM現象
- 情報処理（情報処理学会誌）, 2012-05
- 後藤真孝＠産総研
- 初音ミク，ニコニコ動画，ピアプロに着目してCGM現象を俯瞰．
- ニコニコ動画の創造性: 動画コミュニティサービス「ニコニコ動画」の5年間
- 情報処理（情報処理学会誌）, 2012-05
- 戀塚昭彦＠ドワンゴ
- 創造性への寄与という観点からニコニコ動画の各機能について概観．ユーザからの要求に対してどのように対応していったかも述べられている．
- ニコニコ動画はいかなる点で特異なのか: 「擬似同期」「Ｎ次創作」「Fluxonomy（フラクソノミー）」
- 情報処理（情報処理学会誌）, 2012-05
- 濱野智史
- ニコニコ動画の仕組みの革新性について．同時に動画を見ているかのような感覚を覚える「疑似同期」，いくつもの派生の派生が生まれる「Ｎ次創作」，タグ数が限定されるので書き変え合戦が起こり，それによりタグの洗練および確率的な存続が起きる「Fluxonomy」，をニコニコ動画のアーキテクチャが生み出した特徴として挙げている．
- Songrium: 多様な関係性に基づく音楽視聴支援サービス
- 情報処理学会 音楽情報科学研究会, 2012-08-02
- 濱崎雅弘＠産総研，後藤真孝＠産総研
- 関連サイト：Songrium
- VOCALOID楽曲の評価法及び推薦法
- 情報処理学会 音楽情報科学研究会, 2012-08-02
- 山岸祐己＠静岡県立大
- 関連サイト：ボカロノビス
番外編
- ニコニコ動画データ分析研究発表会 (2009)
- CodeZineの紹介記事
- 野生の研究者（本職も混じっている）の研究発表会．
- ニコニコ学会β (2011)
本ウェブページは濱崎雅弘が作成しています． 私はもともとニコニコ動画に強い関心があったわけではなく，創作活動を行うオンライコミュニティの一つとしてニコニコ動画上の初音ミク動画に関心をもったのがニコ動研究を始めたきっかけです． ニコ厨だったわけではないので，色々と教えていただければ幸いです． 今後も，よくわからないがとにかくすごい創作パワーを持ったコミュニティとしてニコニコ動画を分析し，得た知見をニコニコ動画コミュニティにフィードバックしていければと考えています． 関連する論文・発表等
- 濱崎雅弘, 後藤真孝: Songrium: 多様な関係性に基づく音楽視聴支援サービス, 音楽情報科学研究会, 2012. [PDF]
- 濱崎雅弘: 集合知を創発する場のデザイン, 日本デザイン学会誌 デザイン学研究特集号, Vol. 17, No. 4, pp.5--12, 2010. [ドラフト]
- 濱崎雅弘, 武田英明, 西村拓一: 動画共有サイトにおける大規模な協調的創造活動の創発のネットワーク分析 -ニコニコ動画における初音ミク動画コミュニティを対象として-, 人工知能学会論文誌, Vol. 25, No. 1, pp.157--167, 2010. [J-Stage]
- Masahiro Hamasaki, Hideaki Takeda, Takuichi Nishimura: "Network Analysis of Massively Collaborative Creation of Multimedia Contents - Case Study of Hatsune Miku videos on Nico Nico Douga -", in First International Conference on Designing Interactive User Experiences for TV and Video (uxTV2008), pp. 165-168, 2008. [ACM Portal]
- 江渡 浩一郎, 渡辺 訓章, 川崎 禎紀, 濱崎 雅弘, 西村 拓一: "Modulobe：多数のモジュールによる動く表現物の創造と共有環境", 情報処理学会論文誌, Vol. 49, No. 12, 2008. [CiNii]
最終更新日：2012年9月20日 木曜日