マルコフ連鎖

マルコフ連鎖とは、ある確率分布に従うランダムな変数の系列を生成する確率過程の一種であり、現在の状態が前の状態にのみ依存するというマルコフ性を持つものを指します。具体的には、ある状態 $x_t$ から次の状態 $x_{t+1}$ が生成される確率が、現在の状態 $x_t$ のみに依存する確率遷移行列 $P$ によって表されるものを指します。

マルコフ連鎖は、様々な応用があります。例えば、自然言語処理においては、ある単語が出現した場合に次にどの単語が出現するかを予測するためにマルコフ連鎖が用いられます。また、物理学においては、統計力学における粒子の運動を記述するためにも、マルコフ連鎖が用いられます。

マルコフ連鎖は、以下のような性質を持ちます。

1. ステップ数が増えるにつれて、状態の分布が収束していく。
2. 収束する分布は、確率遷移行列の固有値・固有ベクトルによって特徴付けられる。

このような性質から、マルコフ連鎖は、モンテカルロ法による数値積分や最適化問題の解法などに応用されます。また、マルコフ連鎖を用いたベイズ統計推論によって、確率分布の推定や予測を行うこともできます。

具体的には、以下の手順に従って、マルコフ連鎖を用いたベイズ推論を行います。

1. 事前分布 $p(\theta)$ を設定する。
2. 尤度関数 $p(y|\theta)$ を定義する。
3. 確率遷移行列 $P$ を定義する。
4. 初期状態の分布 $\pi_0$ を設定する。
5. 確率遷移行列 $P$ に従って、状態を生成する。
6. 生成された状態に基づいて、事後分布 $p(\theta|y)$ を推定する。

以上が、マルコフ連鎖を用いたベイズ統計推論の手順です。マルコフ連鎖は、確率論や統計学の基礎的な概念であり、幅広く応用されています。

リンク

Markov chain[EN]