马尔可夫性
通俗理解，现在决定未来，不取决于过去（与过去无关）。
马尔可夫过程 马尔可夫模型
MDP 一类随机过程 具有马尔可夫性 一个状态不断演变 并对其进行建模 后称之为马尔科夫模型
马尔科夫链
具有离散状态的马尔可夫过程。
- 状态空间
在已知现在的条件下，将来不依赖于过去，或者将来仅依赖于已知的现在 即S_t+1只于S_t有关，与S_t-n, 1<n<t无关。
状态转移概率 从一个状态转移到另一个状态的概率。
隐马尔可夫链
HMM 含有隐含参数的 MDP。
- 在马尔可夫模型中，每个状态代表了一个可观测的事件。故，有时称为可视马尔可夫模型VMM
- 隐马尔科夫模型中，状态是不可观测/不可见的，但受状态影响的某些变量则是可见的。
在四个盒子摸球的案例中，
观测状态： 红白球 是可观测的。
隐藏状态： 而 盒子序列 却是 不可观测的状态
概念
- 隐藏状态 S
- 可观测状态 O
- 初始状态概率矩阵Π （表示隐含状态在初始时刻t=1的概率矩阵）
- 隐含状态转移概率矩阵**A **
- 观测状态转移概率矩阵B （观测序列）
**三要素
-
初始状态概率向量π
-
状态转移概率矩阵A
-
观测概率矩阵B
