N阶自回归模型：原理、实现与应用

自回归模型（AR）利用历史数据预测未来值，是时间序列分析和 NLP 自回归生成的基础。

基本定义

$p$ 阶自回归模型 $AR(p)$：

$y_t=c+{\varphi }_1{y}_{t-1}+{\varphi }_2{y}_{t-2}+\cdots +{\varphi }_p{y}_{t-p}+{\epsilon }_t$

平稳性条件

特征方程根落在单位圆外：

$1-{\varphi }_{1}z-\cdots -{\varphi }_p{z}^p=0$

ACF/PACF 特征：

• ACF：拖尾（指数衰减）
• PACF：$k>p$ 处截尾

参数估计

方法	说明
OLS	$\hat{\varphi }=(X^{T}X{)}^{-1}{X}^{T}y$
Yule-Walker	自协方差方程组求解

阶数选择

• AIC：$AIC=2k-2\ln (L)$
• BIC：$BIC=\ln (n)k-2\ln (L)$
• 选择最小化准则的阶数

建模流程

import statsmodels.tsa.api as smt
 
# 拟合 AR(2)
model = smt.AutoReg(series, lags=2, trend='c')
results = model.fit()
 
# 预测
forecast = results.predict(start=len(series), end=len(series)+4)

扩展模型

模型	说明
ARMA	AR + 移动平均
ARIMA	差分 + ARMA
NNAR	神经网络自回归

NLP 自回归生成

$P(w_{1:T})={\prod }_{t=1}^{T}P(w_t|w_{1:t-1})$

特性	AR（GPT）	NAR
生成	顺序	并行
质量	高	较低
速度	$O(n)$	$O(1)$

应用场景

• 短期预测：股票、销售量
• 信号处理：语音增强
• NLP：文本生成

局限性

• 需平稳序列
• 线性假设限制
• 长期预测误差累积