高斯过程是无限维的高斯分布，定义在连续域上。高斯过程回归可从权空间（核贝叶斯线性回归）和函数空间两个视角理解。

定义

高斯过程 ${\xi_t}{t\in T}$ 满足：任意有限点集 $\xi{t_1,\cdots,t_n}\sim\mathcal{N}(\mu,\Sigma)$。

参数：

• 均值函数：$m(t)=\mathbb{E}[\xi_t]$
• 协方差函数：$k(s,t)=Cov[\xi_s,\xi_t]$

核贝叶斯线性回归

将 $f(x)=w^Tx$ 变换为 $f(x)=\phi(x)^Tw$，预测分布：

$$f(x^)\sim\mathcal{N}(\phi(x^)^T\sigma^{-2}A^{-1}\Phi^TY, \phi(x^)^TA^{-1}\phi(x^))$$

其中 $A=\sigma^{-2}\Phi^T\Phi+\Sigma_p^{-1}$。

利用核函数 $k(x,x’)=\phi(x)^T\Sigma_p\phi(x’)$，可避免显式计算 $\phi$。

函数空间视角

对于数据集，$f(X)\sim\mathcal{N}(\mu(X),k(X,X))$，$Y=f(X)+\varepsilon$。

联合分布：

$$\begin{pmatrix}Y\f(X^)\end{pmatrix}\sim\mathcal{N}\left(\begin{pmatrix}\mu(X)\\mu(X^)\end{pmatrix},\begin{pmatrix}k(X,X)+\sigma^2\mathbb{I}&k(X,X^)\k(X^,X)&k(X^,X^)\end{pmatrix}\right)$$

预测分布

$$p(f(X^*)|Y)=\mathcal{N}(\mu_{pred}, \Sigma_{pred})$$

均值： $$\mu_{pred}=k(X^,X)[k(X,X)+\sigma^2\mathbb{I}]^{-1}(Y-\mu(X))+\mu(X^)$$

方差： $$\Sigma_{pred}=k(X^,X^)-k(X^,X)[k(X,X)+\sigma^2\mathbb{I}]^{-1}k(X,X^)$$

函数空间视角无需计算权重，直接得到预测分布。