RBF 核(高斯核)通过核技巧隐式映射到无限维空间,是处理非线性问题的万能核函数。
数学定义
$$K(\mathbf{x_i}, \mathbf{x_j}) = \exp\left(-\gamma |\mathbf{x_i} - \mathbf{x_j}|^2\right)$$
其中 $\gamma = \frac{1}{2\sigma^2}$。
物理意义:距离相近的样本相似度高(接近1),距离远则趋近于0。
核技巧
RBF 核等价于将数据映射到无限维特征空间,无需显式计算高维映射。
优势与应用
| 优势 | 应用场景 |
|---|---|
| 普适逼近性 | 计算机视觉 |
| 参数简洁(仅 γ 和 C) | 生物信息学 |
| 生成平滑非线性边界 | 金融风控 |
| 维度不敏感 | 自然语言处理 |
参数调优
| 参数 | 过大 | 过小 |
|---|---|---|
| γ | 过拟合(边界曲折) | 欠拟合(边界平滑) |
| C | 严格分类,可能过拟合 | 允许错误,模型简单 |
搜索策略:对数尺度搜索(0.001, 0.01, 0.1, 1, 10, 100)
代码示例
| |
预处理要点
- 必须标准化:RBF 核基于距离计算
- 处理异常值
- 高维数据考虑 PCA 降维
RBF 神经网络
不同于 SVM,RBF 网络采用径向基函数作为激活函数,通过 K-means 确定中心点。
张芷铭的个人博客
Comments