脳とベイジアンネットＦＡＱ

脳の情報処理原理の解明の鍵となる技術が ベイジアンネットです。 しかし、大半の研究者は大脳皮質とベイジアンネットの鮮やかな対応について まだ知りません。

脳の情報処理原理に基づいた知能の高いロボットの実現に向け、 一人でも多くの神経科学者・計算機科学者に、 ベイジアンネットと大脳皮質の関係を知ってもらいたいと思います。

ベイジアンネットそのものについての質問

ベイジアンネットとは何ですか？

ベイジアンネット（ベイジアンネットワーク 、 Bayesian network） とは、確率論に基づいた推論を効率的に行うための技術です。 脳の機能の１つである直観と似た働きをします。

ベイジアンネットは、複数の事象の間の因果関係をネットワーク構造で表現し、 同時に因果関係の強さを表す数値も記録したものです。

このように表現された「知識」を用いれば、得られた観測データに基づいて 様々な事象の確率を ベイズに基づいて合理的かつ効率的に計算することができます。

音声認識などのパターン認識はベイジアンネットの応用の一例です。 与えられた音声信号（観測データ）が、どの単語に対応する確率が一番高いかを 計算することができます。

ベイジアンネットはニューラルネットワークとは違うのですか？

パターン認識に使えるという点では同じですが、全く別のものです。 代表的なニューラルネットワークである パーセプトロン と比べると以下の点が違います。

1. 入力されるものも出力されるものも「値」ではなく「値の確率分布」です。
2. 推論時の情報の流れが「入力から出力へ」という一方向ではなく、双方向です。 すべてのノードが入力ノードにも出力ノードにもなり得ます。
3. 推論時の情報の伝達は一度ではなく、ネットワーク全体に 情報が繰り返し伝播します。

情報の流れが双方向のため、観測データに基づいた認識だけでなく、 「もしこうしたら何が起きるだろう」というふうに 原因から結果を予測することもできます。

さらには、文脈からの予測や複数の感覚器からの観測データなど、 持っている情報のすべてを統合した 最適な推論を行うことができます。

例えば二足歩行ロボットは歩行するとき、視覚情報、重力センサー、 加速度センサー、足の裏の圧力センサーなどの複数のセンサー情報に加え、 直前の姿勢と 自分が直前にどういう運動指令を発したかという情報をすべて統合して、 現在の自分の姿勢を推定します。 人間も歩くときに同じことをやっているはずです。 ベイジアンネットを使えば、そのような極めて高度な計算も可能になるのです。

このようにベイジアンネットはパーセプトロンとは全く違い、 はるかに高機能です。 なお、ベイジアンネットを実現する神経回路モデルを考えることは可能です。 私も含めて何人かの研究者が、 ベイジアンネットの生物学的に妥当な神経回路モデルを提案しています。

ベイジアンネットは機械学習アルゴリズムなのですか？

ベイジアンネットそのものは単に知識の表現方法であり、 学習アルゴリズムではありません。

しかし、何らかの方法で得られた知識をベイジアンネットで表現することは可能です。例えば大量の観測データが与えられている時、それにもとづいて、 事象の間の因果関係を最適にモデル化する ベイジアンネットを求めるいろいろなアルゴリズムが知られています。

確率伝播アルゴリズムとは何ですか？

ベイジアンネットにおいて、確率変数の事後確率を効率的に計算するアルゴリズムです。 詳しくは 解説：「確率伝播アルゴリズムとは」をご覧ください。

工学におけるベイジアンネットの利点は？

以下の工学的利点があります。これらは 生物にとっても生存に有利に働きます。

効率の良さ

ネットワークを構成するノードの数が多くても矢印の数が少なければ、 比較的少ないメモリ量で知識を記憶でき、 少ない計算量で種々の 確率的推論アルゴリズムを実行することができます。

表現力の高さ

複数の要因が複雑に絡み合うような対象のモデル化が可能です。

表現の素直さ

事象の間の因果関係を素直にネットワークの形に表現することができます。また、 環境が変わり対象の一部が変化しても、 モデルの修正は一部で済みます。

事前知識の作り込みのしやすさ

学習の際に、 ネットワーク構造の制約などの形で、 事前知識を作り込むことができ、 それにより学習結果の汎化能力を向上できます。

矢印の向きが上から下ですが、逆ではないでしょうか？

矢印の向きは認識時の情報の流れではなく、 因果関係の向きを表現しています。 例えばある事象Ｘが観測データＹを引き起こす時、ＸからＹに向かって矢印を書きます。

すでに完成された技術なのでしょうか？

大規模化なベイジアンネットは 必要な計算量が多くなる上、 実用的な汎化能力も得られにくいという問題があります。 これらの問題を解決するために、現在も大勢の計算機科学者によって 様々な取り組みがなされています。

脳が行っている学習・認識アルゴリズムは、これらの問題をとても巧妙な方法で 解決しているようです。 （詳しくはテクニカルレポート2009を 参照ください。） 脳に学ぶことで得られつつある巧妙なアルゴリズムは、 工学的にも極めて有用なものになるでしょう。

脳とベイジアンネットの関係についての質問

ベイズを使った脳のモデルって流行ってますよね？

計算論的神経科学の分野でベイズを使ったモデルはたくさんありますが、 ほとんどはある特定の実験データを説明するだけの限定的なモデルです。

ベイジアンネットを使った大脳皮質のモデルの論文の数はまだ少ないですが、 従来のモデルと違い、脳の認識と学習の基本原理にせまる、適用範囲の広いモデルを 指向している点が大きな特徴です。

ベイジアンネットは大脳皮質の複雑で多様な振る舞いを少ない仮定で計算論的にきれいに説明するだけでなく、 アルゴリズムやデータ構造、 それらを実現する神経回路にいたるまで、幅広く詳細な説明を与えつつあります。

大脳皮質とベイジアンネットはどこが似ているのでしょうか？

以下のように多くの類似性があります。

1. 認識時にトップダウンとボトムアップの双方向に情報が流れる。
2. 結合のみを通した局所的かつ非同期な情報のやり取りだけで動作する。
3. 非負の値のみが流れる。
4. 情報がしばしば正規化される。
5. 学習がヘブ則に基づいている。
6. 文脈や事前知識を利用した認識が行える。
7. ベイズに基づいた合理的な動作をする。

大脳皮質がベイジアンネットだと言っている人は他にいますか？

私より以前に、 Lee and Mumford (2003), Rao (2005), George and Hawkins (2005) などが、ベイジアンネットを用いた大脳皮質のモデルを提案しています。 その後も少しづつ、ベイジアンネットを使ったモデルを提案する 研究者が現れてきています。 しかしベイジアンネットという概念自体、神経科学者の間でほとんど 知られていません。 知識の普及にぜひご協力ください。

大脳皮質がベイジアンネットである強い証拠はあるでしょうか？

電気生理学的証拠（ [Rao 2005] ）および 解剖学的証拠（ [Ichisugi 2007] ）から、 大脳皮質がベイジアンネットであることは間違いないでしょう。 残念ながらどちらの論文もベイジアンネットに関する知識を前提にしているので 読みにくいです。

前提知識をあまり必要とせず、 ひとめで理解できる明快な証拠が出てくるには、まだ少し時間がかかるでしょう。 そのような証拠を初めて示した研究者はきっと歴史に名を残すことになると思います。 チャレンジしてみたい研究者の方がいらっしゃいましたら、 私はよろこんでお手伝いします。

ベイジアンネットは大脳皮質の機能のごく一部にすぎない ということはないでしょうか？

ベイジアンネットを実現するための神経回路は大脳皮質の「主要な」配線を 説明するので、ベイジアンネットが大脳皮質の主要な要素であると 私は考えています。 実際、脳の様々な機能がベイジアンネットを中核とした機構で実現できそうな 見込みです。 （詳しくはテクニカルレポート2008を 参照ください。）

大脳皮質にはベイジアンネットだけでは説明できない機能ももちろんあります。 私はベイジアンネットの他に、自己組織化マップ、独立成分分析、強化学習という 技術が他の重要な機能を再現させるために不可欠だと考えています。

ベイジアンネットが「意識」を持ち得るのでしょうか？

意識という言葉はいろいろな意味で使われますが、 自分自身の状態を認識できる能力、 すなわち自己意識（自我）について考えてみましょう。

脳は、感覚器からの観測データに基づいて、 世の中の森羅万象を近似したモデルをベイジアンネットの形で学習していきます。 「自分」という生き物もまた世の中の一員です。 感覚器から得られる観測データには、自分の声、現在の指先の形、 筋肉への力の入り具合、現在の気分など、 自分自信の状態に関する情報もありますから、 必然的に「自分自信の状態」も、ベイジアンネットの一部分に表現されていき、 脳による認識の対象となるはずです。

このように、脳の中のベイジアンネットが自分自身を認識する能力を 持つことは、 なんら神秘的なことではありません。

「意識」という言葉は他にも様々な意味で使われることがあるので 注意が必要です。 また、「意識の非機能主義的な側面」なるものは、 ベイジアンネットでは再現できません。

ベイジアンネットが短期記憶を持ち得るのでしょうか？

ベイジアンネットで表現された知識は、脳の長期記憶に対応します。 ベイジアンネットは本来観測データから他の事象について 推論するだけであり、短期記憶を保持する機構は持ちません。

しかし、用いる推論アルゴリズムによっては短期記憶が生じます。 推論アルゴリズムが勾配法のような局所探索法であり、 探索の初期値は一時刻前の推論結果であるとします。 すると、探索の評価関数がたくさんの局所解を持つ場合、 観測データが大きく変化しない限りは、 同じような推論結果が維持されることになります。 これが脳の短期記憶を実現する機構の１つではないかと私は考えています。

ベイジアンネットに時系列データを扱えるのでしょうか？

動的ベイジアンネットというものなら時系列データを扱えます。 隠れマルコフモデル （HMM, Hidden Markov model）も動的ベイジアンネットの一種です。

ベイジアンネットが思考し得るのでしょうか？

確率変数の一時刻前の値を入力データとして与えるような 機構をベイジアンネットに付加すれば、 有限オートマトンになります。 つまり、ベイジアンネットは簡単な拡張を施すだけで メモリが有限のコンピュータと同じ能力を持つことになります。 直観の機能を兼ね備えたコンピュータです。

強化学習とベイジアンネットの学習の機構を組み合わせれば、 そのコンピュータはプログラムを教師なしで自律的に学習するでしょう。

ベイジアンネットが意思を持ち得るのでしょうか？

強化学習と思考の機構を組み合わせれば可能でしょう。

ベイジアンネットが「ひらめき」を持ち得るのでしょうか？

ひらめきとはたぶん、学習時・認識時に起きる局所解からの脱出でしょうね。 ベイジアンネットを用いた学習・認識においても、 使うアルゴリズムによっては局所解からの脱出は起きます。

ベイジアンネットが感情を持ち得るのでしょうか？

情動に関係する脳の組織は扁桃体・視床下部・脳幹などですが、 ベイジアンネットはこれらの組織とは無関係です。

情動は大脳皮質だけから自動的に生まれるものではなく、 生存、種の保存、社会的生活などの目的のために 皮質下に特別に作り込まれている機構との相互作用から生まれます。

将来のロボット設計者は、目的に応じて「好奇心」などの感情を ベイジアンネットの外側に何らかの形で作り込むことになるのだと思います。

ミラーニューロンと関係ありますか？

大いにあります。 大脳皮質がベイジアンネットだとすれば、 「ミラーニューロンシステム」という特別な機構を考えなくても、 大脳皮質の通常の機能の範囲内でミラーニューロンを説明できるように なると思います。

脳がそんなに分かりやすいものであるはずがないのでは？

ベイジアンネットは原理は単純ですが、 それを用いていくらでも複雑なモデルを構築することができます。 大脳皮質もシンプルな解剖学的構造から非常に複雑な精神を生み出しており、 その点でもベイジアンネットと似ています。

近い将来脳の機構が詳細に理解されるようになったとしても、 精神の複雑さや人間の尊さとはなんら矛盾することはありません。

脳の情報処理原理がいまだに完全に解明されていない理由は、 それが非常に困難だからではなく、 単にベイジアンネットという技術が神経科学者の間に 広く知られていなかったから、 かつ、ベイジアンネットの専門家が神経科学の深い知識を 持たなかったからにすぎないと思います。

noisy-OR モデルは制約が強すぎるのではないでしょうか？

私のモデルでは、ベイジアンネットに「noisy-OR モデル」と呼ばれる 強い制約を課すことで計算量を大幅に抑えています。 これはベイジアンネットの表現力を下げますが、 その代わりに学習と認識を高速に実行できるようになります。

この制約のせいで、正確に表現できなくなる対象はたくさんあるでしょう。 しかし生物にとっては停止せずに学習・認識をし続けられることが、 最優先の要求仕様なのです。

統計的学習が意味を持つためには膨大なサンプルが必要であり、 脳の「ワンショットラーニング」のような働きは説明できないのでは？

人間は一度見ただけの景色や人の顔などをはっきりと記憶できてしまう ことがあります。 このときは大脳皮質ではなく、海馬という別の機械学習アルゴリズムに基づく 組織が重要な役割を果たしています。

また、人間は少ない経験で得た知識を、まったく違う状況に応用する 能力を持っています。 同じことをコンピュータに行わせる方法は全くわからないと言う人がよくいます。 実は、この能力は機械学習の分野では汎化能力と言い、 今日ではその性質が非常によく理解されています。

機械学習アルゴリズムに適切な事前知識を与えることが、 汎化能力の向上につながります。 脳にどのような事前知識が作り込まれているかを解明することが、 人間のような高い知能を持ったロボットの実現に向けた 重要な研究課題です。

ベイジアンネットで変数バインディングが実現できますか？ベイジアンネットでポインタが実現できますか？

人間の脳は計算機のような記号処理も行えますが、記号処理のためには、 変数に値を一時的に代入したり参照したりする機能が必要です。 計算機はポインタ（アドレスレジスタ）を持っているのでそれが実現可能です。 一方、脳内の神経回路は短時間につなぎ変わることはないが、 それでも変数バインディングが実現できるのか、 というのが人工知能研究者からよく受ける質問です。

計算機も固定した論理回路で構成されているにも関わらずポインタを 実現しています。それはデータバスとアドレスバスを持っているからです。

では脳の中にデータバスとアドレスバスはあるでしょうか。 少なくとも視覚野にはそれっぽいものがあります。 いわゆる what pathway と where pathway です。 [Rao 2005] 等のモデルが示すように、 what pathway と where pathway の 機能はベイジアンネットでも実現可能です。 ただし、短期記憶を持つベイジアンネットの特定の場所に対して値の読み書きが できることを示した研究はまだないと思います。（たぶんやればできるでしょう。 やってみたい方はご連絡ください。）

神経科学者からは「視覚のバインディング問題が解決できますか？」という 質問をよく受けます。変数バインディングが実現できれば、 視覚のバインディングも同じ機構で実現可能だと思います。

loopy belief propagation/revision は振動しやすいのでは？

loopy BP (loopy belief propagation)とは 脳のような「 loop のあるベイジアンネット」に 確率伝播アルゴリズムを適用する、近似解法の１つです。 loopy BP は収束性が保証されず、振動する可能性があります。

生物にとっては対象を常に認識できる必要はありません。 収束性の保証されていない認識アルゴリズムであっても、 コストが低ければ、トレードオフの結果それを採用する可能性があります。

とはいえ、振動してばかりで何も認識できないと生物は生き残れません。 loop BP ができるだけ振動しないようにする何らかの工夫を 脳は持っているかもしれません。

ベイジアンネットの勉強についての質問

よい入門書はないでしょうか？

「これ１つ読めば完璧」と言える決定版は残念ながらありませんが、 とりあえず下記のリンクを参照ください。

「脳を理解するための情報源メモ」＃ベイジアンネット
「脳とベイジアンネット」

あるいは、自分に合った分かりやすい解説をネットから根気強く探しましょう。 たくさんの解説があります。

私はコンピュータの専門家でも数学が得意でもないので ベイジアンネットを理解することは不可能ではないでしょうか？

基本のところは、Σ（総和）とΠ（総積）と確率論の基礎が理解できれば大丈夫かと思います。

私は神経科学が専門です。ベイジアンネットの専門家とうまく役割分担すれば何か成果が出せるでしょうか？

神経科学者自身がある程度のベイジアンネットと機械学習の知識を持たないと、 脳の情報処理原理の解明につながる素晴らしい成果は出せないと思います。

流体力学を避けて鳥の飛行の理解が不可能なように、 ベイジアンネットと機械学習を避けて脳の理解は不可能ではないでしょうか。

神経科学者・計算機科学者にベイジアンネットの知識を普及させるために、 私に何ができるでしょうか？

まずはぜひ、ベイジアンネットについて深く理解してください。 ベイジアンネットを理解したら、あなたの言葉で分かりやすい解説文を書いて、 インターネット上に公開しましょう。

脳の情報処理原理の解明を目指す神経科学者・計算機科学者の間で、 ベイジアンネットに関する知識が常識になる日を目指して がんばりましょう！