18.GaussianProcess

高斯过程是无限维的高斯分布，定义在连续域上。高斯过程回归可从权空间（核贝叶斯线性回归）和函数空间两个视角理解。

定义

高斯过程 $\{{\xi }_t{\}}_{t\in T}$ 满足：任意有限点集 ${\xi }_{t_1,\cdots ,t_n}\sim \mathcal{N}(\mu ,\Sigma )$。

参数：

• 均值函数：$m(t)=\mathbb{E}[{\xi }_t]$
• 协方差函数：$k(s,t)=Cov[{\xi }_s,{\xi }_t]$

核贝叶斯线性回归

将 $f(x)=w^{T}x$ 变换为 $f(x)=\varphi (x{)}^{T}w$，预测分布：

$f(x^{\ast })\sim \mathcal{N}(\varphi (x^{\ast }{)}^T{\sigma }^{-2}{A}^{-1}{\Phi }^{T}Y,\varphi (x^{\ast }{)}^T{A}^{-1}\varphi (x^{\ast }))$

其中 $A={\sigma }^{-2}{\Phi }^T\Phi +{\Sigma }_p^{-1}$。

利用核函数 $k(x,x^{\prime })=\varphi (x{)}^T{\Sigma }_p\varphi (x^{\prime })$，可避免显式计算 $\varphi$。

函数空间视角

对于数据集，$f(X)\sim \mathcal{N}(\mu (X),k(X,X))$，$Y=f(X)+\epsilon$。

联合分布：

$\left(\begin{array}{c}Y\\ f(X^{\ast })\end{array}\right)\sim \mathcal{N}\left(\left(\begin{array}{c}\mu (X)\\ \mu (X^{\ast })\end{array}\right),\left(\begin{array}{cc}k(X,X)+{\sigma }^2\mathbb{I}& k(X,X^{\ast })\\ k(X^{\ast },X)& k(X^{\ast },X^{\ast })\end{array}\right)\right)$

预测分布

$p(f(X^{\ast })|Y)=\mathcal{N}({\mu }_{pred},{\Sigma }_{pred})$

均值： ${\mu }_{pred}=k(X^{\ast },X)[k(X,X)+{\sigma }^2\mathbb{I}{]}^{-1}(Y-\mu (X))+\mu (X^{\ast })$

方差： ${\Sigma }_{pred}=k(X^{\ast },X^{\ast })-k(X^{\ast },X)[k(X,X)+{\sigma }^2\mathbb{I}{]}^{-1}k(X,X^{\ast })$

函数空间视角无需计算权重，直接得到预测分布。