学位論文も一応決着のメドが見えて来たし，ずっと更新していなかった研究落書帳 を再開しようと思う． 学位論文の中身は混合分布がらみの話であり，その辺りはまだいくつか気になる ことがある． 一つは混合分布の要素数の数をベイズ推定などを使ってできないかと いう話があり，これは J. Royal Statistical Society や Annals of Statistics にも Markov chain monte carlo を拡張した形でやるという方式が面白そうである． 更に，その近似計算法である平均場近似や variational method なんかを使えば かなり有効な手法ができそうだ． などと考えていたら，そこはやはりぐうたら 研究者． NTT の上田さんやその周辺の人達がかなりやっていて，去年の IBIS でも 既に発表しているではないですか． というわけで，混合分布についてはまた新しい ことを思い付くまで少し寝かせておくということにしたいと思う．
ここ 2〜3 年は混合分布というよりも ICA (独立成分分析) がらみの話をやっており， 教師あり学習に拡張するという話はあまり他の人がやっていない感じなので しばらくはこれでやっていこうと思っている． 今までにやったのは正準相関分析を 拡張したマルチモーダル ICA (MICA) というやつだが，今年は少し違う形で 発展させていく予定である． 非線形化をする際にカーネル法なんかを使っていく という考えはあるけどこの辺りはまだ未知数． 以前に書いたカーネル正準相関分析は 既にいろんな人が似たようなことをやっているらしいが，少し詰める部分も ありそうである．
再開しても，原稿の締め切りに追われてなかなか更新できない． 2月はとりあえず，前回軽く触れた話を CICA と名付けて 国際会議(ICANN)に出し，さらに尾ひれをつけて論文誌(Neurocomputing)の ICA 特集号に submit した． CICA というのは Conditionally Independent Component Analysis の略で， 要は出力に対して条件つき独立となるような表現を作るという話で，理論的には 1 次元で話が済んだ ICA を 2 次元に広げていることになるという，まあ MICA が一度歩んで来た道ではある． とりあえず枠組はできたが，論文としてのインパクトには欠けるような気がする． というか，あまり計算とかをして 出した結果ではないので，自分自身の満足度が低いというべきか． やはり，何か自明でないことを証明できたときの喜びは大きい． そのためにはもうちょっと手を動かさないといけないのだが． submit はしたものの，あまり自信がないので，落ちた時のことを考えてその後の 国際会議をチェックしないと^^;
学習理論まわりでマニアックながら流行っているのは特異性をもつ学習モデルの 汎化の理論である． ニュ−ラルネットや混合分布ではたくさんの要素を使って 学習するとパラメータが冗長になる． すると昔ながらの 2 次近似をする際の 係数(Fisher 情報行列の逆)が発散して AIC だの何だのが使えなくなったりする． 私の D 論ではこのような場合にも無理矢理漸近論を使って面白い性質を導いた わけだが，まじめにやろうとすると大変なことになる． 東工大の渡辺澄夫さんは 代数幾何を持ち出して来てベイズ推定などについては大まかなアウトラインは 完成している． ただ，代数幾何のバックグラウンドを持たない私に取っては 動向を見守るしかない． とても自分で手を動かせる気はしない． 統数研の福水さんとか理研の甘利先生とかがやっている解析はまだ馴染みがある ものでなんとかついていける． 今の所は本当に特異な場合を扱っているが， 実際には「非特異に近い」という状況が起きるわけで，非特異と特異の間の 理論が何か見つけられたら面白いと思うのだがなかなか難しい問題ではある． 簡単な場合にでも計算してみるか． ただ，自明でない結果が出るかどうか はよくわからないところもある．
独立行政法人化になって，研究の中身以外のことにいろいろ頭を患わされている． これには研究を評価し重点化しようという動きが大きく関係している． 研究の正しい評価と正しい重点化ができれば言うことはないが，まずこれは非常 に難しい課題であるということ，また，いずれにせよ評価には 非常な労力を要するということである．
経済産業省管轄の法人で科学的な研究をする際に，スポンサーたる 行政サイドからの要請と科学的に価値のある方向性とはかなり直交性が 高い． ただ，これは最近に始まったことではなく長い歴史の中で常に 行われてきた問題である．
行政といっても霞ヶ関のお役人だけではなく，研究者が管理する研究所内での 行政だって末端の研究者には甘くはない． 確かに研究所として方向性を はっきりさせたい気持ちはわかる． だが，生身の研究者にとってそれぞれが 最も才能を発揮できる軸を無視して方向性を出そうとしても全体の パフォーマンスの低下を生み出すだけである．
話が抽象的になったが，具体的には脳神経情報研究部門の中の情報数理研究部門 のおかれた危うい立場を説明しようとしている． ATR の川人先生が強く主張している脳への統合的アプローチは産総研の 脳神経情報研究部門でも強い意志としてあらわされている． 脳の機能解明にとって確かにそれは重要だ． だが，そうした方向に手足を縛る必要はないのではないだろうか． そもそも「脳の機能解明」という一つの方向付けはそれ以外への発展性や 各要素分野での高い研究レベルを規制するものではないことを望みたい．
もう一つは研究のアカウンタビリティについて． 異分野の研究だからといって その価値観や研究のやり方について「わからない」というスタンスはよくない． わからないのなら知ろうとし，その上で批判するというのが科学的態度である． 自分の土俵だけで議論するというのは宗教家の仕事である． お役人に対してするような話をそれほど分野の離れてもいない科学者に対して しなければならないのはうんざりもするが，自分の立場を理解しても らうためならば労力はいとわないつもりである．
ということで今回はやたら愚痴ばかりになって中身のない話になってしまった ことをお許し願いたい．
愚痴だけで終わるのも何なので節をあらためて夏に参加した会議の覚え書き でも書いておこう．
最初は大阪であった IMPS2001 (International Meeting on Psychometric Society). 多少畑違いの会議ではあったが，カーネル正準相関分析と ICA の２本の ネタで invited session の発表をしなければならず参加した． 宿泊した江阪から大阪大学（吹田）へは地下鉄で千里中央まで行きモノレール に乗り換えるという案内であったが，実際にはモノレールが使えない代物で 初日以外はもっぱらバスを利用した． 会議は invited session が山ほどあり， しかもパラレルでたくさん走っていてどれを見てよいのか迷う． 会議の性質上，予測やパターン認識よりも因子分析などの話が多かった． 期待していたいくつかの招待講演はキャンセルになっており残念だった．
自分の発表したセッションのうち，まず カーネル正準相関分析はマッギル大の 高根先生のオーガナイズによるもので，ニューラルネットにおける知識統合 というセッションであった． 日帰り出張の麻生さんの話は知っている話では あるが，大津さんの最適非線形正準相関の話は今後も何か発展性があると 思う（具体的には相関係数を一般化するとか，分布の推定はどうするのかなど）． 高根さんは前に電総研に来たときにしゃべった３個以上の情報源の統合 について． セッションの後半はもうちょっとニューロっぽかった． 最初はワーキングメモリーのニューロモデルの話はまだそれほど洗練されていないが 貴重なモデル屋さんの発表で今後に期待がかかる． 次に，SOM みたいな のを相互情報量なんかの情報論的な量をを直接評価して学習させるという話で おもしろそうだがもう少しちゃんと吟味しないと validity は不明． 最後の話は fMRI や PET のデータに多変量解析かけてみました，という話． やっていることは大したことないが，ビジュアライゼーションはすごくて コンピュータグラフィックスを駆使した３Ｄ映像が聴衆を捕らえていた． 中身も大事だがビジュアルも大事だなと反省した次第． なお，カーネル正準相関分析にしろ非線形正準相関分析にしろ高い相関係数 が出たからと言って構造がうまく抽出できるとは限らないので，結局 クロスバリデーションとか使わないといけないところがあまり美しくはない．
ICA のセッションは阪大の狩野先生と早稲田の村田さんが座長で 社会科学への応用という観点で話せということだったが，全般的には 難しい課題だったようで私を含め社会科学的な観点の話はほとんどなかった． Hyvarinen の顔をはじめて見たがなかなか切れそうな感じである． (Hyvarinen とはその後 ICANN でも会うことになる)． 話は ICA の入門という感じだったがわかりやすかった． 統数研の南さん がロバスト ICA の話で理論的にしっかりしていたが少々ついていけず． 狩野先生のところの学生さんの発表は対話形式で発表が工夫されていて 受けていた． 後で村田さんに聞いたところでは狩野先生のキャラクター らしい． それから私の発表については村田さんからサクラの質問で， ICA は他の多変量解析の手法にも発展可能か，そして次元が高くなると 難しくなるのはどうするのかという疑問を受けた（うろ覚え^^;）． 前者はまだあるような気もするがまだわからない，後者は次元圧縮が 別途必要というのがとりあえずの回答． 最後の発表は理研グループの発表で， ICA についてはさすがに深くやっていて私のようないい加減な話ではなく 事前知識を入れて ICA の性能を上げるという話であった．
総括すると，全般的に伝統的な統計手法に基づいて心理や社会学の問題に じっくり取り組むという感じの会議であった． 私の発表した二つのセッション はこういう観点からするといくらか異端的な性格ではあった． 個人的には会議のあと村田さんと千里中央でお好み焼きを食べながら情報交換 できたのがよかった． 長くなったので IBIS と ICANN のまとめは次回と言うことで．
ぼうっとしているうちにもう冬の便りもちらほら． ということでお約束の会議総括だけでも済ませておこう． IBIS は一応プログラム委員ということで知り合いも多く，人見知りの 私にとってはなかなか居心地のよい会議である． 今年は情報理論の分野の 研究者がさらに減って来つつあるようだ． 電通大の川端さんや NEC の竹内 さんなんかはしぶとく残ってくれていて頼もしい． また，山本先生の圧縮の 話は野次馬的興味からはおもしろかった． 日本の学習理論は特異点がらみの 話が一つの特色である． ただし難しさが際だつのに対して あまりうれしさが伝わってこないのが残念なところではある． もう一つ目立つのは物理屋さんの元気さである． 東工大の樺島さんや 理研の岡田さん，都立大の田中さんなどパワーを感じる． また彼らは話がうまい． 招待講演の田崎先生も然り． 村田さんに指摘された のだが，私とかは自分の話をつまらなそうに話すそうである． というわけで，話し方も工夫しないといけないなーと反省． ただし，性格的な問題も含むのでなかなか改善は難しいかもしれない． 統数研の田辺先生の話はおもしろそうなのだが時間が足りなくて尻切れトンボ で消化不足に終わる． 福水さんによるとどれだけ時間があっても足りなくなる らしいが．．． 後で村田さんに full paper を送ってもらったのだが まだ読みこなせていない． 早く読まないと． あと，会議をやった情報学研究所は都会のど真ん中という感じのところに あり，建物も新しくてなかなかよかった．
さて，ICANN は家族連れで行ったこともあり，あまり会議には集中できなかった． 知り合いもほとんどおらず，津田さんの後ろをついてまわっていた． 収穫はサポートベクターマシンをオンラインで学習させる話が聞けたことと， 奈良先端の石井先生と名刺交換できたことであろうか． 石井先生は学生さんを巧みに使ってたくさんの発表をしていた． やっぱりパワーのある人は違う． バンケットは美術館の中で行われ，始まる前にざっとコレクションを見た． ブリューゲルのコレクションが目当てであったがなかなか到達できず． エルグレコ特別展をやっていたこともあるのだが宗教絵画が多くて少しうんざり した． ブリューゲルはよかった． バベルの塔は思っていたより小さい絵であっ た． いかん，会議と関係なくなった． 会議では GMD First 周りの人が何人か 来ていて津田さん経由で知り合いになる（といってもう忘れてしまったけど）． こうやって人の顔や名前のもの覚えが悪いのもよくないなー．
そういえばアメリカのテロ事件の最中ボストン近郊で NNSP という会議があり， 甘利先生はちょうどそれに出ていたらしい． 理研の伊達さんに手記を見せても らったが，なかなか緊迫感あふれる状況だったらしい． あと，NIPS には残念ながらというか順当にというか落ちてしまったが， ちょうどよかった．．． なんていってる場合じゃないか． もうちょっとまじめに研究しよう． 西森君もテロで NIPS に行く気をなくして いるようなので今年通った津田さんに様子を聞くことにしよう．
10/19 に豪華講師陣を招いて 平均場近似虎の穴というセミナーを企画し盛況のうちに終了した． これだけがっちりと話を聞くと疲労も相当なものだが，さびついていた 頭を回転させるトレーニングとしてはなかなかいいものである．
数理として興味のあるのは平均場近似が実際の場面でどれくらいの近似能力 をもつかという点であるが，なかなか単純明快にはいかないようだ． 変分法では一方向の不等式は成立するがそれを逆に押さえる不等式というのは なかなか出てこない． あと，クラスタ変分法ではだんだん高次へと展開して行くが，高次にとるほど よいというわけでもないところがなかなか難しい．
研究があまり進まないので，ちょっとメタな話でも書こう． 最近研究以外で頭を悩ませているのは，脳の部門の中でどうやって数理的な 研究をやるかということである． これについては 前の 落書き にも書いたし，会う人ごとに愚痴をこぼしているので聞き飽きた方 もいるかもしれない．
おそらく数理的な研究者はあまり脳を指向していないというのが実状であろう． 新たな情報処理の原理の発見や既存手法・モデルに関する重要な解析をする ということには高いモチベーションがある． 脳が優秀な情報処理器官である ということは間違いないし，そこから新しい情報処理の原理が出てくる可能性 も長期的には高いであろう． だが，現状では数理的な研究者にとって美味しい 脳の研究というのは多くはないのではないだろうか． むしろ，情報理論や統計物理，あるいはいわゆるニューロコンピューティング といった業界が元気であり，そちらのスキームの方がむしろ魅力的というのが 実状であろう． この状況は脳科学にとっては不幸である． だからといって 無理矢理脳に指向させても高い研究成果が得られる可能性は低い．
まあ数理屋さんはある意味他の分野に逃げを打つことができるという意味で 気楽である （といってもいつお取りつぶしになるかという危惧は常にあるが．．．） 一番悲惨なのはモデル屋さんと（数理的でない）アルゴリズム屋さんであろう． まあ私も純粋な数理屋というよりはこちらに近いのであるが， これらの人たちはどの業界に行ってもいじめに遭う割に合わない立場にいる． 脳の業界では「脳との関連が弱い」といっていじめられ，数理的な業界では 「アドホックすぎる」といっていじめられる． だから一部の元気のいい人だけ がんばっているだけで，研究者人口も増えず いつまで経っても脳と数理をつなぐ人たちは育たないのである．
お問い合わせ・ご質問は下記までどうぞ
s . a k a h o @ a i s t . g o . j p