最优控制 Optimal Control

最优控制把控制器设计重构为约束下的优化问题：给定系统动力学与性能指标，求使指标最优的控制律。它取代经典设计”凑极点、调增益”的试凑路线，也是 MPC 与强化学习的数学母体。

问题设定：性能指标泛函

受控系统$\dot{x}=f(x,u,t)$，控制目标写成性能指标泛函（Bolza 形式）：

$J[u]=\phi (x(t_f),t_f)+{\int }_{t_0}^{t_f}L(x,u,t)\mathrm{d}t$

• $\phi$：终端代价，约束末态偏差
• $L$：过程代价——跟踪误差、能耗、控制量幅值
• 只含积分项为 Lagrange 形式，只含终端项为 Mayer 形式，三者可互化

典型问题：时间最短、燃料最省、二次型代价下的调节与跟踪。求解路线有三条：

路线	性质	局限
变分法 / Pontryagin 原理	必要条件，逐时刻刻画	两点边值问题难解
动态规划 / HJB	充分条件，全局最优	维数灾难
直接法	离散化后做非线性规划，梯度下降类算法求解	数值近似，无结构保证

变分法与 Euler–Lagrange 方程

无约束时泛函取极值要求一阶变分$\delta J=0$；对$\int L(x,\dot{x},t)\mathrm{d}t$分部积分得 Euler–Lagrange 方程：

$\frac{\partial L}{\partial x}-\frac{\mathrm{d}}{\mathrm{d}t}\frac{\partial L}{\partial \dot{x}}=0$

动力学约束$\dot{x}=f(x,u)$通过随时间变化的 Lagrange 乘子$\lambda (t)$（协态，costate）引入增广泛函——这正是 Pontryagin 原理的起点。

Pontryagin 极小值原理

构造 Hamilton 量

$H(x,u,\lambda ,t)=L(x,u,t)+{\lambda }^{\top }f(x,u,t)$

极小值原理（PMP）：$u^{\ast }$最优的必要条件是存在协态${\lambda }^{\ast }(t)$，使

${\dot{x}}^{\ast }=\frac{\partial H}{\partial \lambda },{\dot{\lambda }}^{\ast }=-\frac{\partial H}{\partial x},u^{\ast }(t)=\arg {\min }_{u\in \mathcal{U}}H(x^{\ast },u,{\lambda }^{\ast },t)$

自由末态时附加横截条件$\lambda (t_f)=\partial \phi /\partial x$。

直觉：

• $\lambda (t)$是代价对状态的影子价格——此刻状态偏移一单位，未来总代价增加多少
• 状态方程正向、协态方程倒向，联立成两点边值问题，数值上靠打靶法求解
• $H$对$u$线性时最优解落在约束边界，即 bang-bang 控制——时间最短问题的解总在最大推力之间切换

动态规划与 HJB 方程

Bellman 最优性原理：最优轨迹的任意后段本身仍最优。定义值函数$V(x,t)$为从$t,x$出发的最小剩余代价，得 Hamilton–Jacobi–Bellman 方程：

$-\frac{\partial V}{\partial t}={\min }_{u\in \mathcal{U}}\left[L(x,u,t)+(\frac{\partial V}{\partial x}{)}^{\top }f(x,u,t)\right]$

与 PMP 的关系：

• $\lambda =\partial V/\partial x$——协态就是值函数的梯度，PMP 是 HJB 沿最优轨迹的逐时刻特写
• HJB 在粘性解意义下给出充分条件，PMP 仅必要；但 HJB 是$n$维偏微分方程，维数灾难（curse of dimensionality）使之对一般非线性问题不可解
• 绕过维数灾难的两条现代路线：结构化解析解（LQR）与近似求解（MPC、强化学习）

LQR：线性二次型调节器

线性系统（状态空间表示 State-Space）配二次代价：

$\dot{x}=Ax+Bu,J={\int }_0^{\infty }(x^{\top }Qx+u^{\top }Ru)\mathrm{d}t$

$Q⪰0$惩罚状态偏差，$R\succ 0$惩罚控制能量。设值函数$V=x^{\top }Px$代入 HJB，$P$满足代数 Riccati 方程（ARE）：

$A^{\top }P+PA-PB{R}^{-1}{B}^{\top }P+Q=0$

最优控制是线性状态反馈$u^{\ast }=-R^{-1}{B}^{\top }Px=-Kx$。$(A,B)$可稳、$(Q,A)$可检测时 ARE 有唯一对称正定解，闭环$A-BK$渐近稳定。

import numpy as np
from scipy.linalg import solve_continuous_are
 
# 双积分器 x'' = u
A = np.array([[0.0, 1.0], [0.0, 0.0]])
B = np.array([[0.0], [1.0]])
Q = np.diag([1.0, 0.1])   # 位置偏差权重 > 速度偏差权重
R = np.array([[0.5]])     # 控制能量权重
 
P = solve_continuous_are(A, B, Q, R)   # 解 ARE
K = np.linalg.solve(R, B.T @ P)        # 最优增益 u = -Kx
print(K)                               # [[1.414 1.740]]

与极点配置对比

	状态反馈与极点配置 Pole Placement	LQR
设计输入	期望闭环极点	权重$Q,R$
增益唯一性	多输入系统下不唯一，需额外准则	唯一，由权重自动导出
鲁棒性	无内在保证	单输入经典结果：增益裕度$[1/2,\infty )$、相位裕度$\ge 60°$
调参直觉	直接指定动态性能	权衡状态误差与控制能量

$Q$调大响应更快但控制更猛，$R$调大则省能量、响应迟缓——工程调参沿此方向迭代。状态不可直接测量时，用卡尔曼滤波 Kalman Filter估计状态再馈入 LQR（LQG 结构），分离原理保证估计与控制可独立设计、组合仍最优。

MPC：模型预测控制

• 每个时刻基于模型在有限时域$N$上求解带硬约束的优化——执行器饱和、状态安全域均可显式写入；只施加首步控制量，下一时刻滚动重解（receding horizon）
• 线性模型 + 二次代价 + 线性约束归结为凸 QP，毫秒级在线可解；非线性模型逐帧解 NLP
• 与 LQR 互补：LQR 是无约束情形的解析全局解，MPC 用有限时域 + 终端代价逼近无穷时域，是 HJB 的工程化近似

强化学习的数学母体

HJB 沿离散时间改写即得 Bellman 最优方程；最优控制与马尔可夫链推广出的 MDP 一一对应：

最优控制	强化学习
状态$x$ / 控制$u$	state $s$ / action $a$
动力学$f$、代价$L$	转移核$P$、奖励$r$
值函数$V(x)$，$\lambda =\nabla V$	value function、advantage
HJB / PMP 解析条件	值迭代 / policy gradient 采样近似
模型已知	模型未知，从数据估计

RL 本质是无模型的近似动态规划：控制论假设$f,L$已知去解方程，RL 用采样回填未知的转移与代价，策略梯度可视作对值函数梯度的采样估计。两条路线已在机器人与连续控制上合流，详见控制理论与强化学习 Control and Reinforcement Learning。