変数変換と潜在変数

最適化においては定義域である $x\in\cal X$ の表現が重要であり， 単純な変数変換によって問題が簡単になることがある． 変数変換と一口に言ってもさまざまなものがあるが，多くの問題を難しく しているのは多数の確率変数の間の相互作用である． もし変数変換によって各変数が独立にできれば，問題は格段に 易しくなる． 実数空間の場合，最も基本的な手法は主成分分析 (PCA = Principal component analysis) による無相関化である． また，さらに独立性を追求する手法として独立成分分析 (ICA = Independent component anaysis) を用いることも有望かもしれない． 離散値の空間では，単純に PCA をかけたりすることはできないが， 近似的に離散値を実数空間に埋め込んで PCA や ICA を行ったり， 指数分布族 PCA[2]などを適用することは可能である．

また，拡張アンサンブル法の一種であるマルチカノニカル(Multicanonical)法は， 関数値の空間で モンテカルロ法を行うという意味で一種の変数変換ともとらえられる． マルチカノニカル法は集団探索ではないが，問題の構造の学習も行っている という点本稿の手法と関連が深い．

さて，変数変換と類似の手法として，隠れ変数あるいは潜在変数という補助変数 $z$ を 導入し，

$$p(x) = \sum_z p(x, z)$$ (18)

となっているとみなせるとしよう． $p(x, z)$ の最大値が簡単に 求められるとき，それを利用して $p(x)$ の最大値を効率的に 求める手法がEM アルゴリズム[10]である．