関数最小化問題

なんらかの探索空間 $\cal X$ 上に定義された実数値関数 $f(x)\in \mathbb{R}, x\in\cal X$ の最小値およびそのときの $x$ の値 $x^*$ を求めることが問題である．

$$x^* = \arg\min_x f(x)$$ (1)

$\cal X$ や $f(x)$ にはとりあえず何も制限は設けず，できる限り一般的な 枠組みで議論を進める．