马尔可夫链

马尔可夫链具有无记忆性：未来状态仅与当前状态有关，与历史状态无关。

数学表示

状态转移概率： $P(X_{t+1}=s_j|X_t=s_i)=P(X_{t+1}=s_j|X_t=s_i)$

转移概率矩阵 $P$：$P_{ij}$ 表示从状态 $s_i$ 转移到 $s_j$ 的概率，每行和为 1。

核心性质

性质	说明
平稳分布	长时间后状态分布趋于稳定
遍历性	平稳分布唯一
周期性	回到某状态的时间间隔是否固定

类型

类型	说明
DTMC	离散时间马尔可夫链
CTMC	连续时间马尔可夫链

代码示例

import numpy as np
 
P = np.array([[0.8, 0.2], [0.5, 0.5]])  # 转移矩阵
state = np.array([1, 0])  # 初始状态
 
for _ in range(10):
    state = np.dot(state, P)
    print(state)

应用领域

领域	应用
自然语言处理	n-gram 语言模型
金融工程	股价建模
生物信息学	基因序列分析
强化学习	马尔可夫决策过程