马尔可夫链

好的，我们来详细计算一下给定轨迹 tr=(1→2→2→3→1)tr=(1→2→2→3→1) 的发生概率。

首先，我们假设一个3×3的转移概率矩阵 PP：

P=(p11p12p13p21p22p23p31p32p33)P=​p11​p21​p31​​p12​p22​p32​​p13​p23​p33​​​

初始状态分布是均匀分布 ρ=(13,13,13)ρ=(31​,31​,31​)。

轨迹 tr=(1→2→2→3→1)tr=(1→2→2→3→1) 的发生概率是初始状态概率乘以每一步的转移概率：

1. 初始状态是 1 的概率：ρ1=13ρ1​=31​
2. 从状态 1 转移到状态 2 的概率：p12p12​
3. 从状态 2 转移到状态 2 的概率：p22p22​
4. 从状态 2 转移到状态 3 的概率：p23p23​
5. 从状态 3 转移到状态 1 的概率：p31p31​

因此，轨迹 trtr 的发生概率 P(tr)P(tr) 可以表示为：

P(tr)=ρ1⋅p12⋅p22⋅p23⋅p31P(tr)=ρ1​⋅p12​⋅p22​⋅p23​⋅p31​

将初始状态分布代入：

P(tr)=13⋅p12⋅p22⋅p23⋅p31P(tr)=31​⋅p12​⋅p22​⋅p23​⋅p31​

为了具体化，我们假设一个具体的转移概率矩阵 PP：

P=(0.20.50.30.40.40.20.30.30.4)P=​0.20.40.3​0.50.40.3​0.30.20.4​​

现在，我们可以计算轨迹 tr=(1→2→2→3→1)tr=(1→2→2→3→1) 的发生概率：

1. 初始状态是 1 的概率：1331​
2. 从状态 1 转移到状态 2 的概率：p12=0.5p12​=0.5
3. 从状态 2 转移到状态 2 的概率：p22=0.4p22​=0.4
4. 从状态 2 转移到状态 3 的概率：p23=0.2p23​=0.2
5. 从状态 3 转移到状态 1 的概率：p31=0.3p31​=0.3

所以：

P(tr)=13⋅0.5⋅0.4⋅0.2⋅0.3P(tr)=31​⋅0.5⋅0.4⋅0.2⋅0.3

计算得：

P(tr)=13⋅0.5⋅0.4⋅0.2⋅0.3=13⋅0.012=0.004P(tr)=31​⋅0.5⋅0.4⋅0.2⋅0.3=31​⋅0.012=0.004

因此，轨迹 tr=(1→2→2→3→1)tr=(1→2→2→3→1) 的发生概率是 0.004。