今日は昨年後半からいろいろ考えてでもいろいろな事情でお蔵入りに なったネタをまとめておこう． 今現在はサポートベクターマシンがらみの 仕事などをちょっとやっているのだが，それについてはもうちょっといろいろ やってから書こう．
一つ目は variational Bayes （平均場近似）という話と MCMC をくっつけた ような話で，variational Bayes で得られた近似分布をサンプリング分布にして independent sampler ベースの MCMC をやるという話である． NTOC という最適化を中心とした会議で統数研の 伊庭さんにちょっと話をしたら，周辺分布としての近似はいいんだけど， サンプリング分布としては rejection rate が大きくなりすぎるんじゃない？ という話だったので mixture の場合にパラメータの分布は variational の 解を使って，隠れ変数には真の条件付き分布を使えば精度は上がるんじゃないか と思って計算していたのだが，Gharamani (つづりに自信なし) などが すでにそれっぽいニュアンスのことを書いており，UCB の Michael Jordan の グループでも UAI 2001 で同様の発表をしているのでもうちょっと新しい 切り口が見つかるまではお蔵入り． 何かいいアイディア持っている人が いたらいっしょに考えましょう．
それから，Jordan のところが NIPS の Workshop で kernel ICA という 私の kernel 正準相関分析と multimodal ICA をくっつけたような話を 出していたというのを複数の人から聞いた． まああまり芸のある話では ないのでパワーのある彼らに任せておこう． そう思っていたら今度は CICA を拡張したような tree-dependent ICA などというのを同じ人たちが 出してきた． まあこれも任せておこう． と思っていたらその著者の 人から問い合わせが来たので私自身何かやることになるかもしれない．
もう一つは強化学習のアクティブラーニングという話で，最近奈良先端の 石井先生などの強化学習のチュートリアルなどを聞いていて， アクティブラーニングという話ができないかなと思った次第． 今は exploration and exploitation を重み付きでやることが多いみたいだが， 損失関数だけから bandit problem みたいな形で最適解が求まらないかという 妄想を抱いてしまった． これは強化学習そのものが素人同然なので なかなか手を出せないでいる．
あと，２月に福水さんがうちの研究所に１０日ほど滞在した． mixture の話などでいろいろ面白い話が聞けた． その福水さんは 5 月から Jordan のところに行くらしい． 私は去年某制度でやはり Jordan のところに出したのだが落ちてしまった． まあその時は 9.11 の頃だったので 逆にホッとしたのだが．
春の間は support vector machine のマージンを入力空間で大きくする という話をだらだらとやっていたが、NIPS ではとても厳しい評価で 落とされてしまった。 欠陥も多い話ではあるが、SVM のソサイエティ には受け入れにくいネタだというのも落ちた理由の一つだろうなと思う。 まああまりそういうことを考えて研究していないのもいけないんだけど。
夏はまず神経回路学会が後援してやっているサマースクール NISS 2002 というのに参加した。 一応オブザーバという立場での参加である。 この頃の私の中でのテーマは「いかに脳に興味の無い人間が脳科学に貢献 できるか」ということで、それを探りたいという意図があった。 結局今日までその結論は出ていないが、脳と学習の問題は異文化交流なので、 言葉の違いや宗教（すなわち価値観）の違いをどう乗り越えるかという どこにでもある非常に困難な課題に帰着される問題であり、こういう サマースクールでコスモポリタンがたくさん輩出されれば鎖国や摩擦も 徐々になくなっていくのではないかというかすかな望みは抱いている。 だがまあ急には無理であろう。
ところで、NISS 2002 のテーマは情報表現ということで、おもにスパイクの 時空間パターンに乗っている情報の意味付けや発火パターンの物理的な メカニズムに焦点が当たっていた。 ただし、意味付けについては非常に難しいものがある。 ちゃんと立証できる レベルにある「意味」としてはかなり自明に近いものが多く、「従来の 計算機にはできないことを脳がやる」というお題目からするとかなり 寂しい感じはぬぐえない。 しかし、これをあまり追求しすぎると 脳科学と情報科学の乖離が起きてしまうので辛抱強く取り組む必要が あるという印象を受けた。 なかなか私のような移り気な性格では務まらない 世界かもしれない。
サマースクールの参加受講者で元気のよかったのは情報科学者よりも 脳科学者であり、情報科学の人間はどこか疎外感を感じてしまう。 それは致し方ないことかもしれないが、それは明らかにマイナスである。 ただし、物理の人は性格上？そんなことはお構いなしに相手の領域に 踏み込んでいけるようでうらやましい気もする。 また、「モデル」に対する風当たりはやはり強い。 モデル作りそのものの 困難さは理研の岡田さんが指摘していたが、さらに、何に使うモデルなのか によってモデルの設計指針は全く異なる。 それにも関わらずモデルという ものは攻撃を受けやすい。 こんな割に合わない商売はない。 どうにかならないものだろうか。
さて、９月に入って今度は IBIS 2002 (情報論的学習理論) が開催された。 今年は実行委員長が早稲田の村田さん、プログラム委員長が東工大の渡辺さんと 産総研の本村さんという体制で、私の近隣の人が多かったので、 内気な私としては参加しやすかった（こんなことではいけないが）。 今年はオーラルがオーガナイズドセッションのみで アプリケーション中心の構成となり、（多くがマニアックな？）投稿論文は すべてポスターということになっていた。 これはかなりうまい企画で、 たいてい IBIS では濃い話を聞きつづけて最後のほうは力尽きてしまうのだが、 今年はなんとか最後まで気力が続いた。 ただ、私には居心地はよかったかもしれないが、情報理論の人などが減って どんどん参加者の範囲が縮小している感じがするのは当初の IBIS の趣旨とは 矛盾するのでなかなか運営も難しいなと感じた。 来年は上田さんを中心に 関西で行なわれるようなのでまた新たな風が吹くかもしれない。
アプリケーションではやはりデータマイニング、テキストマイニングそれから バイオインフォマティクスがはやりのネタであろう。 私としてはあんまりアプリケーションに引っ張られない手法の アイディアを出すというのが好みなのだが、最近はなんでもかんでも リアルワールドアプリケーションでアプリケーション密着型が好まれる。 ジェネラル過ぎる手法は結局役に立たないというのは理解できるが、 昨今のリアルワールドブームはちょっと近視眼的過ぎないかという 気もする。 だが、こういう考えはもはや時代遅れとみなされていて 冗談めかして「これからはトイワールドコンピューティングだ」とか 言ったらまじめに反論されて戸惑ってしまった。
シンガポールで開かれた ICONIP 2002 の報告。 シンガポールのダウンタウンから遠く離れたゴルフ場での会議で、 缶詰状態であった。 でもそのおかげで各セッションとも集客数はかなり 多く盛り上がっていた。 また、食事やハイティーなる軽食も充実． エクスカージョンもナイトサファリにセントサ島と主催者の気合が感じられた （日程の都合でセントサ島の方には参加できず）。 私の場合、実質２日間だけの参加の上，パラレルセッションも多数であり、 全体的なレビューはできないのでご容赦願いたい。 ちなみに今回はファジィ関係の会議など３つが合同開催で、 筑波大の宮本先生や大阪府立大の市橋先生などともお目にかかることができた。 内容的には東工大の渡辺澄夫先生が座長をされていたセッションが最も 中身が濃くおもしろかった。 よくわからなかったが興味深い話としては、 二つのパリティマシンを同期させることによって暗号通信に使うという話で 肝は学習が同期よりも難しいということを使っているようである．
NIPS 2002 (バンクーバー) および NIPS ワークショップ(ウィスラー)の報告。 サンフランシスコ経由で行ったこともあり、時差ぼけがずっと取れず。 やはりグラフィカルモデル関係が多かった． 本会議でもいろいろな話があったし， 池田さん＠九工大と田中さん＠都立大が中心となっていたルーピービリーフ プロパゲーションのワークショップもあった． ちょっと目新しかったのは Kearns のグループが出していたもので， ゲーム理論関係の話にグラフィカルモデルを使うという話で面白げ ではあるが有効性はちょっとよくわからなかった。 アプリケーションはバイオインフォマティクスがかなりの割合を占めていた。 カーネル関係はストリングカーネルなどやはりバイオインフォマティクスを 指向したカーネル設計の話が多かった。 ワークショップでも learning kernels, bioinformatics, unreal data と関連する３つのワークショップが あり、盛り上がっていた。 そのほか、マニフォールドフィティングの話もいろいろあった。 福水さんに連名にしてもらった話も面白い話であるが渡辺先生の話を含め、 やはり外人には特異点関係は恐ろしげに移ったかもしれない。
UC Berkeley の報告。 NIPS のあと福水さんも滞在されている UC Berkeley の Michael Jordan の ラボを訪問。 ここではグラフィカルモデルをバイオインフォマティクスに 応用するという話が多かったが、Francis Bach や福水さんのやっている 話が私の昔の話に関連していて興味深かった。 あと、授業の一環として行なわれた学生さんのポスターセッションは、 内容といい、発表の堂々とした感じといい、非常にレベルの高さを感じた。 日本の大学ではちょっと考えられないくらいであり、ちょっとした カルチャーショックであった。 Berkeley では NIPS workshop で話した em でカーネル補完する話と mixture の分岐の話をした。 さすがに Berkeley ともなると Ph.D candidate レベルでもどんな話題でも 鋭い突込みができる。 NIPS を含めぐうたら研究者としてはかなりきつい 海外出張であった。
Computer today という雑誌で IBIS 特集号をやり，拙文も掲載された． まあ私に関しては村田さんの頼みやすいメンバーのうちの一人だったという ことだと思う． 引き受けたからにはなんかうまい文章の一つもでっちあげよう と気合いは入るのだが，気合いが空回りして何を書いていいのかさっぱり 浮かばず，あれよあれよという間に締め切り日が近づいている． 締め切りは NIPS 明けのため，NIPS が終わった後睡眠時間を削って書いたのが 掲載された文章である． かなり言い訳がましくなってしまったが， まあ私に書けるのはせいぜいあんなものなのだろう．
それでなんと computer today は休刊である． どこの出版社も厳しい情勢だが 特に computer today はマニアック過ぎた感じもあり，休刊も致し方なしか． ただなんとなく自分の原稿の載った号で終わりというのは，自分のせいで休刊 になってしまったかのような感覚になってしまうのであまり気分はよくない． そもそも computer today はマニアックとは言え，数理科学のように 「行ってしまっている」感じがなく，どちらかというと中途半端ではあった． 読者層もよくわからず，学生向けにもわかりやすくという原稿依頼ではあったが， そうすると専門家にはあまり面白くないかも知れないという感じになってしまう．
さて，自分では発表しなかったが玉川大の NC 研究会に少しだけ顔を出した． 出たセッションだけ少し報告しておこう． しかしさすがに日本語だと ちゃんとフォローできるなー． 英語の会議でもこれぐらいの内容でレポート したいものだ．
1 日目の最終セッションは本村さんが座長をしていたベイジアンネット関連の ものであった． 最初の発表は少し聞き逃したが，佐藤雅昭さんと石井さんの グループの発表で，Bayesian PCA みたいな 話でいろんな近似を入れるのと入れないのでどれくらい違うかみたいなのを 実験的に比較． 理論的な比較があったかどうかはちょっと定かではない （後で予稿集を見ておこう）． 次は上坂先生が共著で入っている発表だった．πλ表現可能性という話で， d-separation とかいう話と関係するのだろうか． 質問しようと思ったのだが セッションが終わったら発表者の方が見あたらなかったので残念． ノードがベクトルになっている場合の質問をしている人がいたが， これはベクトルをひとかたまりで考えている間は大丈夫だと思う． そこから先は応用の話で，手話の認識の話が２件あり，いろいろな工夫が 入っていてそれなりに面白かったが本質的にはどこが重要なのかがちょっと つかめなかった． 最後は領域ごとに画像の明るさ補正をすると境界でガタガタ になるので多重解像度表現を使ってなめらかにするという話． 会場には非常に受けていたようである． 臼井先生のところの話なので 人間の視覚との関連を追及していく方向は面白そうだと思ったが，応用としては ちょっと疑問が残る．
次の日は朝から制御系のセッション． 全体に宇野先生とか数人で盛り上がって いて入っていけず（これは後の渡辺セッションでうっぷんをはらすことになる^^;）． 大きさと重さの関係の話は結論はよくわからないが面白そうな話であった． これを含め東工大の小池先生のグループはいろいろ心理物理実験をやっており 面白かった． 次はやはり小池グループのバイオリン演奏時の力推定の話． 悲しいかな，素人とプロとの差がよくわからず^^; 次の学習の転移の話は非常に面白かった． だが，現状では結果の転移だけを 見ており，学習の転移（最初のパフォーマンスは悪いが学習は早く進む） はあまり解析していないとのことなので今後に期待したい． その後の二つの発表は運動系にのるノイズの話で，この辺りは理論的にちゃんとやると 面白そうな話である． それから川人グループの mixture モデルの獲得を 教師無しでは難しいので教師ありでやらせるという話． うーん， これはどうなんだ． 今後教師無しに近づけていくということなのだろうか． 最後は正準相関分析みたいなのをニューラルネットで作って感覚運動統合 するという話． 自分で似たような話をやっていたせいもあるが，これで 感覚運動統合と呼ぶにはまだまだでしょう． ロボットを動かすのは大変だとは 思いますが．
さて，神経回路学会の理事会が長引いて午後の渡辺セッションは途中からの 参加となった． ここは岡田グループが全開． 庄野さんの発表は誤り訂正符号の平均場近似の話でしたが内容を忘れてしまった． 次のはマルチクラスの識別に誤り訂正符号を用いる話の推定誤差の話で， 自分的な興味では符号化の方に興味があったのでそっちの動向を知りたかったの だが，あまり情報を得られず． 会場の中で詳しそうな人がいたので聞けば よかった． 次は natural gradient で逆行列が必要なときにそれを online で 推定する場合の話で，面白そうな話ではあったが，ゆらぎによる不安定性の 解析みたいな話までは行っていない感じであった． 次の朴さんの発表も似たような解析を特異点の周りでやっていたが， 樺島さんの指摘では特異点に近づくと高次の項が復活してくるのではないかとの ことだが，シミュレーションでは比較的うまく行っているようだった． 最後は高畠さんの Gibbs sampler の情報幾何の発表． 感触としては 興味を持っている人は多そうだったが，状態が分布になっているという意味が あまり通じてなかったので初歩的な質問が多かったのが残念である．
まずは 7月に東工大であった統計的学習理論チュートリアルの報告． といっても，初日の途中からしか出られなかったので村田さんの情報幾何の 話と萩原さんのニューラルネットの話は聞けず． すべての詳細は渡辺さんのホームページからたどれる． とりあえずこのために作ったカーネルのページ を経由していってください＾＾； 今回のチュートリアルでは６ページの予稿と５０分の講演という分量にしては ちょっと盛り込みすぎておそらく聴衆は消化不良を起こしたに違いない． VC の話はやめようとも思ったのだが結局入れてしまったため， Representer theorem とか，最近のカーネル ICA がらみの話とかはかなり なおざりにしてしまった．
渡辺色という意味では，福水さんの漸近論の話と青柳先生＠上智の特異点解消 の話がメインだろう． 福水さんの話は聞きなれているせいかわかりやすい． まあだいたいにおいて講演というものは自分の知っている話が８割以上ないと， ちょっときつい感じがするというのを聞いたことがある． 特異点解消の説明はまさに数学科の講義という感じの系統だった話し方で， わかりやすそうではあったのだが，内容そのものが難しくて ついていききれなかった＾＾； そのほかには本村さんのベイジアンネット， 岡田さんのアンサンブル学習の統計力学の話があり，この二人は良くも悪くも フィロソフィカルであり，場を非常に盛り上げるすばらしい講演であった． 特に岡田さんと渡辺さんとの「物理vs数学」というディスカッションは なかなか深いものだなーと思った． 私は応用物理なんで，物理と数学との 間かなって感じなんだけど． ちなみに，このチュートリアルは大盛況だった ようで，予稿集も完売したそうである． 渡辺さんの企画力はすばらしい．
JNNS2003 は理事会と会誌編集委員会に出席のためほぼ５年ぶりの参加である． 東京でやってくれたというのも非常にありがたい． いわゆる純粋な計算論の話はほとんどなくなり，多少なりとも脳との関係を 意識した話が多くなってから，私も足が遠のいていた． しかし，渡辺さんの尽力で，計算論勢力が今後復活するのでは？という わずかな期待も抱かせる雰囲気は出てきたようだ． ポスターセッションは岡田グループのパワー炸裂という感じで，圧倒される ものがあった． それにしても岡田さんは問題の落としどころがうまい． まさに研究のプロで，私のようにアマチュア感覚で研究している人間とは 一段違う． ちなみに，甘利先生の講演では混合分布の特異点の話を最後の方に少し話して いたのが面白そうなネタだった． Fisher 情報行列を特異点のまわりで計算して 勾配法と自然勾配法との比較をやっていた． EM はどっちになるのかな？
まずは 11 月に開かれた IBIS2003 の報告． 今年は場所を関西に移して上田さん＠実行委員長，樺島さん＠プログラム委員長 という形で行われた． IBIS の前に SMAPIP のチュートリアルがあり，後には Bayesian net の セミナーという豪華なラインナップである．
SMAPIP のテーマはモンテカルロということで，最近やっているモンテカルロ の絡みで福島先生の講演を聞きたかったのだが，時間に間に合わず， 喜多先生の GA の話と，渡辺治先生の乱択アルゴリズムの話． 乱択アルゴリズムというのは聞きなれないが，計算量の理論の分野で ランダムネスを扱うとこういう感じになるのかということで， 非常に勉強になった．
IBIS ではオーガナイズドセッション以外はすべてポスターという最近の 形式を踏襲． オーガナイズドセッションはそこそこ面白かったが，ポスターにいろいろ 面白い発表が多かった．
福水さんの次元縮約の話は以前に聞いていたので，今回かなり細かいところまで よくわかった． あと，岡田さんのグループで，統計力学と統計解析の融合みたいな話をやっていて 面白かった． あと，田中利幸さんが CCCP の情報幾何みたいな話をやっていて， CCCP とベーテ近似の心がわかった気がした． 理論ではほかに萩原さんが RBF みたいなネットワークのオーバーフィットの解析 の話をしていた． ほかにも面白そうな発表は多かったのだが，ポスター発表の効率的な回り方 をマスターしないと，とても全部回るのは不可能である． もうちょっと長いプレビューがあってもいいかなという気もした．
私自身は NIPS に落とされたのであまり自慢はできないが， 指数分布族の空間で PCA をやるという話を情報幾何を使ってやった． 少し詰められていないところがあるので，とりあえずお話だけ盛り上げようと プレビューでは IBIS 研究者の分布を図示してやったら予想以上に 受けた． ベイジアンネットセミナーは出張の時間の都合で参加できず． ただし，講演資料は出回っていたのでちゃっかりと get に成功．
さて，年も押し迫った 12 月 20 日に 産総研早稲田合同シンポジウムというのが開催された． 実は，これは産総研が主体のものだが，この前日に早稲田先端バイオ研セミナー というのが開催され，私もトークをすることとなった．
まあなぜ私が選ばれたのかとか，どんな相手にどんな話をすればいいのかもわからず， とりあえず「脳機能の利用・解明のための数理的アプローチ」という漠然とした タイトルで，工学と理学をつなぐかけはしが数理ですよという内容の話をした． しかし，これが非常に受けが悪かった． 第一に私の話の下手さもあったのだが， 聴衆が実は生物屋さんばかりで，工学の人はほとんどいなかった． あとで村田さんに聞いたところ，村田さんもこの人たちの前では学習理論の 話はしたことがないそうである．
「バカの壁」という流行語を引き合いに出して説明したのだが， 理学と工学の間のバカの壁に隔てられて何の疑問もなく研究されている人たちには， その壁をなんとかしたいという話が全くピンと来ないようであった． 似非科学やいい加減なモデル屋と日々戦っているようで，私に対する対応も まさにそういう感じであった． うーん，私にそういう突っ込みされても 困るんですけど． 論点が全然伝わらず;o;． 結構準備したのに，話の伝わらない相手に話をするのが一番辛い．
私の後は村田さんが ICA の話をする． 村田さんの話がちゃんとしていることもあって，生物屋さんの反応はきわめて良好． 生物屋さんはわれわれをデータ解析屋さんとしてしか見ていないらしい． これは最後にしゃべった大阪バイオ研の何某先生の講演にも如実に現れていた． それではバカの壁は埋まりませんよ． (別に埋めたいと思ってないって？^^;)
さて，翌日の産総研主体のシンポはまさに脳機能の工学的応用に視点が置かれており， さらにニューロメールなどでも盛んに宣伝されていたせいで， ものすごく多数の参加者があった． 菅生さんと岡田さんのセットの発表は絶妙かつ迫力があり，講演の内容も さることながら，講演の方法について見習う点が多かった． 午後に浅田先生の強化学習の講演を聴いて帰宅． やっぱりロボットは見た目が受けるなー． 内容とか時間の関係ではしょっているのに，デモとか見るとそれだけで 説得力が全然違うもんなー． うらやましいというかなんというか．
お問い合わせ・ご質問は下記までどうぞ
s . a k a h o @ a i s t . g o . j p