大脳皮質とチャートパーサの類似性

言語の獲得は、ヒトの知能を劇的に向上させた要因の１つとも言われている。
脳の言語野の機構を解明することは、高い知能を持った機械を実現する上で
避けて通れない重要な研究課題である。

（ベイジアンネットを使った言語野のモデル構築の研究をやってみたい
という方はご連絡ください。）

追記：
構想が詳細化したのでこちらもご覧ください。
研究構想説明資料：「BESOMを使った言語野モデルの構想」[ 201212language.pdf ]


◆大脳皮質のブローカー野
ヒトの脳の中にある言語野の１つ、ブローカ野は文法理解に
関係すると言われている。

ブローカー野も大脳皮質の領野の１つであるから、
他の領野と同様に、大脳皮質の認識・学習の基本原理にしたがって
動作しているだろうと推察される。

ブローカー野の構文解析アルゴリズムのモデルの候補として
私が注目しているのがチャートパーサである。

チャートパーサと大脳皮質にはいくつかの類似点がある。


◆大脳皮質とチャートパーサの類似性

・曖昧な文法
チャートパーサは曖昧な文法に向いていると言う。
ここで言う「曖昧な文法」とは、文の解釈が必ずしも一意に決まらない
という性質のことを言う。
脳が扱う自然言語の文法もまた極めて曖昧であり、
脳が採用する構文解析アルゴリズムは効率よく
曖昧な文法を処理できなければならない。


・テーブルルックアップの単純な繰り返し
必ずしもチャートパーサに限らないが、計算機上の構文解析器の多くは、
テーブルルックアップの単純な繰り返しで動作する。
大脳皮質は解剖学的構造からみてあまり複雑な動作はできそうもないが、
テーブルルックアップの繰り返しであれば十分に実行できる可能性がある。


・動的計画法
チャートパーサは、動的計画法に基づいて動作するアルゴリズムである。
一方、計算論的神経科学における大脳皮質ベイジアンネットモデルによると
大脳皮質もまた確率伝播法のような動的計画法を用いている。


・ O(n^3) の計算量
チャートパーサの１つであるアーリー法は入力の長さ n に対し
構文解析に O(n^3) の時間がかかる。
一方脳に関しては、
ブローカー野の構文解析の計算量のオーダーがどのくらいかは、
現時点では分からない。
だが、 O(n^3) というのは妥当な線ではないかと思う。
O(n^2) 個のニューロンによる並列処理ができれば、
単語長 n の文を O(n) の時間で構文解析できることになる。
n が大きいと必要なニューロン数は多くなるが、
脳の場合 n は大きくないだろう。
せいぜい n=10 くらいではないだろうか？
脳における n を見積もる認知科学の研究はすでにあるかもしれない。


・モジュラリティの良さ・拡張性の高さ
私がアーリー法の名前を最初に聞いたのは
拡張可能プログラミング言語の関連研究としてである。
ちゃんと理解してないが、アーリー法は文法の拡張がしやすいらしい。
おそらく新たな文法を追加しても既存のテーブルの修正が
少しで済む、という性質を持っているのではないか。
そうであれば、それはインクリメンタルに文法知識を獲得していく
脳にとっても有利な性質である。


・トップダウンとボトムアップ
チャートパーサに限らないが、パーサのアルゴリズムには
トップダウン方式とボトムアップ方式がある。
一方、大脳皮質ベイジアンネットモデルによれば、
認識結果はトップダウンの文脈からの予測情報と
ボトムアップの観測データの情報とを付き合わせて、
一番もっともらしい解釈を１つ選択する。
したがって脳は、トップダウン方式とボトムアップ方式を
同時並行的に行う方式ということになるだろう。


◆言語野のモデル構築に向けて解決すべき問題

・意味の表現方法
計算機のパーサ生成器においては、文法記述の際に、
各構文規則ごとに対応する action を記述する。
この action は文の「意味」を定義する。

脳の場合は、言語の「意味」とは、おそらく
「言語野以外の領野の発火パターンの変化の仕方」ではないかと
考えているが、現時点ではその詳細は明らかではない。

将来 deep learningなどを用いて
言語の背景にある「常識」をベイジアンネットで表現できようになれば、
それをブローカー野を表現するベイジアンネットと結合することで、
意味制約と文法制約の両方を同時に最適化する
精度の高い言語理解が実現するだろう。


・文法獲得
文法の学習はかなり以前から、
エルマンネットのようなリカレントニューラルネットワークで実現されてきた。
しかし、人間が扱うほどの大規模な文法の学習は行われていないと思われる。

それには、人類がいまだ手にしていない高度な抽象化能力を持った
機械学習アルゴリズムの実現が必要であろう。
そのためには大脳皮質に関する神経科学的知見を踏まえた、
高性能な教師なし学習アルゴリズムの構築が、
もっとも確実な近道であろうと私は考えている。


・バインディング
ベイジアンネットを用いて構文解析器を実現する際の
障害の１つが、変数バインディングの実現方法である。

これは、視覚野におけるバインディング問題と
本質的に同じ機構で解決可能ではないかと考えている。

ベイジアンネットの特徴である explaining away という現象を使って
バインディングを実現する方法を現在検討中である。


・リカレントベイジアンネット
ベイジアンネットを用いて構文解析器を実現する際のもう１つの問題点が、
文法の再帰性である。
私はブローカー野はリカレントベイジアンネット、
すなわち再帰的な結合を持つ有向グラフから構成されるベイジアンネットではないかと
考えている。
リカレントベイジアンネットは数学的には何の矛盾もなく定義可能だと思うのだが、
それを扱った文献は見当たらない。