卡尔曼滤波 Kalman Filter

状态往往不可直接测量，而开环复制系统模型的估计会随时间漂移发散。卡尔曼滤波把输出反馈引入状态重构，在高斯噪声假设下给出最小方差意义的最优估计——它既是控制理论的状态观测器，也是 SSM/Mamba 等深度状态空间模型的数学内核。

状态估计问题：开环模型复制必然漂移

状态空间表示 State-Space 描述的系统 $\overset{x}{˙} = A x + B u, y = C x$ 中，传感器只测得 $y$ ，而反馈控制与监测诊断需要的往往是完整状态 $x$ （全部位置、速度、内部温度）。直接测每个状态变量在工程上不现实。

直觉方案是用模型复制系统——开环观测器：

$\dot{\overset{x}{^}} = A \overset{x}{^} + B u$

估计误差 $e = x - \overset{x}{^}$ 满足 $\overset{e}{˙} = A e$ 。只要 $A$ 有正实部极点、初始估计有偏差、或存在过程扰动，误差就按 $e^{A t}$ 指数漂移——与反馈控制 Feedback 批判的开环控制同病：只信模型，不看结果。解法也相同：把实测输出与预测输出之差接成修正回路。

Luenberger 观测器：极点配置的对偶

给模型复制加上输出误差反馈：

$\dot{\overset{x}{^}} = A \overset{x}{^} + B u + L (y - C \overset{x}{^})$

残差 $y - C \overset{x}{^}$ 反映「真实系统与估计之差」，增益 $L$ 决定修正强度。误差动力学变为

$\overset{e}{˙} = (A - L C) e$

观测器设计 = 配置 $A - L C$ 的极点。这一步与状态反馈与极点配置 Pole Placement 中配置 $A - B K$ 完全对偶： $(A^{T}, C^{T})$ 能控 $⟺$ $A - L C$ 极点可任意配置，而该条件正是能控性与能观性 Controllability and Observability 中的能观性——只有能从 $y$ 重构的模态才谈得上估计。

极点放得越靠左，误差收敛越快；但 $L$ 同时放大测量噪声 $n$ ： $\overset{e}{˙} = (A - L C) e - L n$ 。收敛速度与噪声敏感度共用一个 $L$ ，定常增益下二者不可兼得。要做出定量权衡，必须显式建模噪声——这引出卡尔曼滤波。

卡尔曼滤波：预测与更新

考虑离散系统，过程噪声 $w_{k}$ 与测量噪声 $v_{k}$ 为独立高斯白噪声：

$x_{k} = A x_{k - 1} + B u_{k - 1} + w_{k}, y_{k} = C x_{k} + v_{k}$

以估计均值 $\overset{x}{^}$ 与协方差 $P$ （估计不确定度）为状态，每步做两件事：

预测（沿模型推演，不确定度膨胀）：

$\overset{x}{^}_{k ∣ k - 1} = A \overset{x}{^}_{k - 1} + B u_{k - 1}, P_{k ∣ k - 1} = A P_{k - 1} A^{T} + Q$

更新（用观测修正，不确定度收缩）：

$K_{k} = P_{k ∣ k - 1} C^{T} (C P_{k ∣ k - 1} C^{T} + R)^{- 1}$

$\overset{x}{^}_{k} = \overset{x}{^}_{k ∣ k - 1} + K_{k} (y_{k} - C \overset{x}{^}_{k ∣ k - 1}), P_{k} = (I - K_{k} C) P_{k ∣ k - 1}$

$Q$ 、 $R$ 分别为 $w$ 、 $v$ 的协方差。结构上这就是一个时变增益的 Luenberger 观测器： $L = K_{k}$ ，且 $P$ 的递推自动算出每一步的最优增益——观测器理论与统计估计在此汇合。

增益 K 的直觉：信模型还是信观测

标量情形下 $K = \frac{P ^{-}}{P ^{-} + R}$ ，是预测方差与观测方差归一化后的信任分配权重：

情形	含义	增益	行为
$R ≫ P^{-}$	传感器噪声大、模型可信	$K \to 0$	几乎信预测
$P^{-} ≫ R$	模型不确定、传感器准	$K \to 1$	几乎信观测
初始 $P_{0}$ 大	一无所知	$K \to 1$	快速吸收观测
稳态	$P$ 收敛到 Riccati 不动点	$K \to K_{\infty}$	定常增益观测器

import random
 
random.seed(0)
x_true, x_hat, P = 0.0, 0.0, 1.0  # 初始不确定度 P=1：对初值一无所知
Q, R = 1e-5, 1.0                  # 过程噪声小，测量噪声大
 
for k in range(1, 4):
    x_true += random.gauss(0, Q ** 0.5)     # 真实状态：随机游走
    y = x_true + random.gauss(0, R ** 0.5)  # 带噪观测
    P = P + Q                               # 预测：不确定度膨胀
    K = P / (P + R)                         # 增益：信任分配（模型 vs 观测）
    x_hat += K * (y - x_hat)                # 更新：按残差修正
    P = (1 - K) * P                         # 更新：不确定度收缩
    print(f"step {k}: K={K:.4f}, x_hat={x_hat:.4f}")
# K 从 ~0.5 迅速收敛到稳态 ≈ 0.0032（= sqrt(QR)/(sqrt(QR)+R) 附近）：
# 模型准而传感器差，滤波器学会几乎只信预测——增益不是手调的，是算出来的

高斯最优性：何时 KF 是精确最优

线性系统 + 高斯分布噪声 + 已知 $Q, R$ 三条件成立时，卡尔曼滤波是精确的贝叶斯后验—— $\overset{x}{^}_{k}, P_{k}$ 就是 $p (x_{k} ∣ y_{1 : k})$ 的均值与协方差，同时是 MMSE 估计与 MAP 估计。原因在高斯的共轭封闭性：预测步是先验的线性 pushforward（高斯保持高斯），更新步的「似然 × 先验」仍是高斯，五步递推只需传递一、二阶矩，别无信息损失。这是少数闭环形式的最优贝叶斯推断。

任一条件破坏，最优性降级为近似：

非线性 → 扩展卡尔曼滤波（EKF）：在当前估计点一阶泰勒展开，对线性化模型跑 KF。局部线性度好则可用，初始偏差大或强非线性时发散；UKF 以无迹变换代替求导，粒子滤波以采样逼近任意分布
非高斯 / 多峰 → 粒子滤波等序贯蒙特卡洛
$Q, R$ 未知 → 自适应滤波，或像 KalmanNet 那样用网络学增益

$P$ 的稳态方程是一个离散 Riccati 方程，与最优控制 Optimal Control 中 LQR 的 Riccati 方程互为对偶——估计与控制共用一套数学，二者串联即 LQG（线性二次高斯）架构：KF 重构状态，LQR 反馈之。

AI/ML 接口：从 KF 到深度状态空间模型

S4 与 Mamba 的骨架是连续时间 SSM $\overset{x}{˙} = A x + B u, y = C x$ 经零阶保持离散化后的递推 $x_{k} = \overset{ˉ}{A} x_{k - 1} + \overset{ˉ}{B} u_{k}$ ——与 KF 的预测步是同一条状态递推（零阶保持离散化）。区别在概率视角：KF 显式建模噪声、维护信念分布 $p (x_{k} ∣ y_{1 : k})$ ；深度 SSM 丢掉噪声，只保留确定性递推，把 $(A, B, C)$ 当作可学习参数端到端训练。数学内核同源：

HiPPO 矩阵：对 $A$ 的特殊参数化，使固定维状态 $x$ 成为输入历史的最优正交投影——状态即压缩记忆，对应 KF 中「状态是被估计的隐变量」
Mamba 的选择性机制：让 $(\overset{ˉ}{A}, \overset{ˉ}{B}, C)$ 依赖输入，等于把 LTI 系统推广为时变非线性系统——递推仍是 KF 预测步的形状，参数不再定常
马尔可夫性：SSM 的隐状态序列是连续状态的马尔可夫链，KF 的预测-更新本质是在线性高斯族上做信念传播——与 HMM 前向算法、变分推断同属一个谱系

反过来，KF 也被深度学习吸收：可微卡尔曼滤波把 $K_{k}$ 的计算嵌入网络反传，learning-to-observe 在 POMDP 中用网络学观测器，机器人学的状态估计 pipeline（SLAM、传感器融合）至今以 EKF 为基线。控制理论 1960 年的估计器与 2023 年的序列模型，共享同一组矩阵递推。

体系定位

观测器补齐了状态空间方法的输入端：状态反馈与极点配置 Pole Placement 假设全状态可测，本篇提供从噪声观测重构状态的手段，二者合成输出反馈控制。与最优控制 Optimal Control 的 Riccati 对偶、与强化学习中 POMDP 信念追踪的呼应，使状态估计成为贯穿控制与学习的主线之一。完整地图见控制理论 MOC。

知识花园

探索