研究紹介

ニューラルネットワークの統計的研究

視覚の生成モデル

生成モデルとは、潜在的な原因からデータの発生を説明する確率モデルである。生成モデルのパラメータ推定アルゴリズムは、データの内部表現の教師無し学習アルゴリズムを与える。このようなモデルは、画像データから画像の統計的性質に適した内部表現を獲得する事ができる。現在、人間の視覚系を再現する最小の生成モデル(minimal generative model) を探索している。

論文

A. Utsugi (2002) "Independent Components of Natural Images under Variable Compression Rate", Neurocomputing, vol.49, no. 1-4, pp. 175-185.
A. Utsugi (2001) "Ensemble of Independent Factor Analyzers with Application to Natural Image Analysis", Neural Processing Letters, vol.14, no.1, pp. 49-60.

混合因子分析モデル

ニューラルネットワークの教師無し学習は、環境によって与えられる入力データから、潜在的な構造を抽出する事を目的としています。潜在構造のタイプには様々なものが考えられますが、最も単純なタイプは「離散的なクラス」と「線形部分空間」です。データ解析の分野ではクラスター分析と主成分分析が、信号解析の分野ではベクトル量子化とKL変換が、これらの潜在構造を抽出するために使われています。確率モデルとしては、これらは混合正規分布モデルと因子分析モデルに対応します。混合因子分析モデル(MFA: Mixtures of Factor Analyzers)は、両者のモデルを融合したもので、局所的な線形部分空間で表されるクラスの集団によって潜在構造を表現します。このような潜在構造の枠組は、非常に柔軟で発展性を持つため、様々な認識系のモデリングの中核になることが期待されます。

論文・発表

A. Utsugi and T. Kumagai (2001) "Bayesian Analysis of Mixtures of Factor Analyzers", Neural Computation, vol. 13, no. 5, pp. 993-1002.
熊谷、宇津木(2000) 「脳磁図の混合分布モデルを用いた解析」, 計測自動制御学会論文集, vol. 36, no. 7, pp. 619-621
宇津木、熊谷 (1999) 「混合因子分析モデルのベイズ解析」, 日本神経回路学会第9回全国大会(JNNS'99).
熊谷、宇津木 (1999) 「脳磁データの混合分布モデルによる解析」, 第９回インテリジェントシステムシンポジウム
T. Kumagai and A. Utusgi (1999) "Handwritten letter recognition through mixture of factor analyzers", International Conference on Engineering application of Neural netowrks
熊谷、宇津木 (1998) 「統計的手法による文字認識」, 第８回インテリジェントシステムシンポジウム

自己組織化写像のベイズ確率モデル

自己組織化写像(SOM:Self-Organizing Map)は、環境から与えられる入力データの中に潜むトポロジカルな構造を抽出することができるユニークなニューラルネットワークモデルです。抽出された構造は、予測、分類、制御などを行うシステムの性能向上に利用されます。実際には、SOMは柔軟すぎるため、どのようなトポロジーを仮定しても、データに適合してしまいます。ここでは、SOMを確率モデルとして再構築する事により、統計的原理に基づいた柔軟性の調節や、最適なトポロジーの探索などを可能にしています。

JavaとGIFアニメーションによるデモ

論文・発表

A. Utsugi (2000) "Bayesian sampling and ensemble learning in generative topographic mapping", Neural Processing Letters, vol. 12, no. 3, pp. 277-290.
A. Utsugi (1998) "Density estimation by mixture models with smoothing priors", Neural Computation, vol.10, no. 8, pp. 2115-2135.
A. Utsugi (1997) "Hyperparameter selection for self-organizing maps", Neural Computation, vol. 9, no. 3, pp. 623-635.
(reprinted in "Self-Organizing Map Formation, Foundations of Neural Computation", eds. K. Obermayer and T. J. Sejnowski (2001), MIT Press, pp.277-289.)
A. Utsugi (1996) "Topology selection for self-organizing maps", Network: Computation in Neural Systems, vol. 7, pp. 727-740.
宇津木 (1996) 「ベイジアン自己組織化写像の高速学習アルゴリズム」, 日本神経回路学会第7回全国大会(JNNS'96).
宇津木 (1994) 「ベイジアン自己組織化写像の側方相互作用」電子情報通信学会論文誌D-II, J77-D-II, pp. 1329-1336.
宇津木 (1993) 「トポロジー保存写像学習のベイズモデル」電子情報通信学会論文誌D-II, J76-D-II, pp. 1232-1239.

昔の仕事

主な論文

M. Kitajima, A. Utsugi (1993) "Validation of the fuzzy model of attraction emotions", Japanese Journal of Fuzzy Theory and Systems, vol. 5, pp. 55-67.
A. Utsugi, M. Ishikawa (1991) "Construction of Inner Space Representation of Latticed Network Circuits by Learning", Neural Networks, vol. 4, pp. 81-87.
A. Utsugi, M. Ishikawa (1991) "Learning of Linear Associative Mapping by Latticed Network Circuits", Systems and Computers in Japan, vol. 22, pp. 56-65.

ホームページへ