確率的アプローチ

将来の天気や雑音混じりの信号，ユーザの意図のように確定値を得ることが難しい ものがある．これらを体系的に取り扱うために確率変数を用いることができる． 以降では簡便のため確率変数が離散の場合を中心に説明する．

例えば複雑な要因やノイズの影響などによって不確定さを含む対象を確率変数として 大文字$X$で表し，その変数がとりえる具体値は小文字 $x_1,x_2,\cdots, x_n$の ように表す．ここで変数$X$の確率分布を考えることができ，そのおおまかな 傾向はその統計量(例えば平均や分散, エントロピーなど)によって特徴づけ ることができる．

次に変数間の依存関係を考える． 例えば変数$X_i$と$X_j$があり「if $X_i=a$ then $X_j=b$」というルール が成立しているとき，$X_j$が$X_i$に依存しているという． 現実に起きている様々な事象を考えるとこうした変数間の依存関係は複雑であり ，「if $X_1=a_1, \cdots, X_i=a_i, \cdots,$ then $X_j=b$」のように明示的に 全ての関係を列挙することは現実的でない． また予期できない 要因によってルールが常に成立するとは限らない場合もある．こうした不確実性を 吸収し，また依存関係の程度を定量的に表すため， 「$X_i=a_i$であるとき$X_j=b$である確率は $P(X_j=b\mid X_i=a_i)$」という 確率的な言明を与える． 二つの量$x,y$の間の一意的な依存関係は，例えば関数$y=f(x)$によって表せる． 同様に，確率変数$X_i$,$X_j$の依存関係は条件付き確率分布$P(X_j\vert X_i)$によって 表すことができる．これは$X_i$のとる値に応じて，$X_j$の分布が影響をうけ，その依 存関係の定量的関係が条件付き確率分布$P(X_j\vert X_i)$で定められることを示している．