最小値探索と期待値計算

もともとモンテカルロ法は関数の最小値を探すことよりは，確率変数の 期待値を計算することに主眼があり，研究もそちらに重点が置かれてきた． 一方，本稿では最適化に関する部分についてのみ説明してきたので，MCMC 法の 一側面だけに偏っている感が否めない． 最小値を探す難しさと期待値を計算する難しさは微妙に異なるが， 比較的ゆるい条件で，それらは以下のように関係している．

定理

$f(x)$ を ${\cal X}\in \mathbb{R}$ 上で有界な閉集合の上の関数とする． $f(x)$ の最小値を取る $x=x^*$ がただ一つ存在するとき，$f(x)$ が $x=x^*$ で連続なら

$$\lim_{T\to+0} \frac{\int_{\cal X} x \exp(-f(x)/T)dx}{\int_{\cal X} \exp(-f(x)/T)dx}=x^*$$ (10)

が成り立つ．

従って，関数の連続性が仮定できれば，期待値計算のために研究された さまざまなテクニックが最小値を探すのにも役に立つ可能性はある． なお，モンテカルロ法を用いた具体的な計算法は[14]なども 参考になる．

そもそも最小値探索ではピンポイントで最適点だけに関心があるが， 統計的な手法という観点からは，もっとソフト化して，「ある $\eta,\delta$ に対して確率 $1-\eta$ 以上で

$$f(x) < f_0 + \delta$$ (11)

となる $x$ が見つかることを確率的に保証する」といった，PAC 学習的な 考え方が向いているように思える(ただし $f_0$ は真の最小値)．