50. マルコフ連鎖

更新日 : 2022/01/11

50.1.1. マルコフ連鎖の定義^[重要]

50.1.3. 推移確率の定義

50.1.4. 推移確率行列

50.1.5. 斉時的

50.1.6. 状態確率ベクトル

50.1.7. 定常分布^[重要]

推移確率行列を $\rm{Q}$ 、状態確率ベクトルを $\boldsymbol{\pi}$ としたとき、
$\boldsymbol{\pi}=\boldsymbol{\pi}\rm{Q}$ となる $\rm{Q}$ を $\rm{X}$ の定常分布と呼ぶ。

50.1.8. 到達可能、相互到達可能、既約