問題構造とは何か

今まで「問題構造」という漠然とした用語を使ってきたが，ここでは 統計モデル，つまり統計的な学習の対象となるような構造のことを 指すことにする． 見かけ複雑な構造をした関数も，内在的に十分簡単な (=統計的学習が可能な)構造を持っているというという仮定に立った立場である．

ここで，何を学習するかについていくつかの自由度がある． 一つは MCMC などが対象とする確率分布 $p_T(x)$ そのもののモデル化が 考えられる．

$$p_T(x) \simeq p(x;\theta)$$ (16)

ここで $\theta$ はパラメータである． $p_T(x)$ そのものに従うサンプルを得るのは難しくても $p(x;\theta)$ が $p_T(x)$ を十分よく近似し， かつサンプリングをするのが簡単な分布であれば， その分布を学習することによりサンプリングが楽になるだろう． 後で述べる平均場近似を用いた手法は基本的にはこの立場である．

ただし，$p_T(x)$ そのものは複雑過ぎて単純な分布では近似できないこと も多い． そのような場合に，最適化のためには $p_T(x)$ 全体を近似する必要はなく， $f(x)$ が小さな値をとるような $x$ がもれなくサンプリングされれば よいという考え方も出来る． $p_T(x)$ 全体を近似するのは難しくても， $f(x)$ が小さいところに限定すれば比較的少ないパラメータの分布で 記述可能かもしれない． また，$p_T(x)$ が小さいところが MCMC のランダムウォークの障壁になっている場合には，これを忠実に 実現するよりは多少の下駄を履かせて障壁を除くようにしたほうがよいよう にも思える．

EDA は基本的に後者のように $f(x)$ の小さいところに 限定してサンプルを得ようという考え方であり，そのナイーブな 実現法として以下のようなものが考えられる．