张芷铭的个人博客

RBF 核(高斯核)通过核技巧隐式映射到无限维空间,是处理非线性问题的万能核函数。

数学定义

$$K(\mathbf{x_i}, \mathbf{x_j}) = \exp\left(-\gamma |\mathbf{x_i} - \mathbf{x_j}|^2\right)$$

其中 $\gamma = \frac{1}{2\sigma^2}$。

物理意义:距离相近的样本相似度高(接近1),距离远则趋近于0。

核技巧

RBF 核等价于将数据映射到无限维特征空间,无需显式计算高维映射。

优势与应用

优势应用场景
普适逼近性计算机视觉
参数简洁(仅 γ 和 C)生物信息学
生成平滑非线性边界金融风控
维度不敏感自然语言处理

参数调优

参数过大过小
γ过拟合(边界曲折)欠拟合(边界平滑)
C严格分类,可能过拟合允许错误,模型简单

搜索策略:对数尺度搜索(0.001, 0.01, 0.1, 1, 10, 100)

代码示例

1
2
3
4
5
6
7
8
9
from sklearn.svm import SVC
from sklearn.model_selection import GridSearchCV

param_grid = {
    'C': [0.1, 1, 10, 100],
    'gamma': [0.01, 0.1, 1, 10]
}
grid = GridSearchCV(SVC(kernel='rbf'), param_grid, cv=5)
grid.fit(X_train_scaled, y_train)

预处理要点

  • 必须标准化:RBF 核基于距离计算
  • 处理异常值
  • 高维数据考虑 PCA 降维

RBF 神经网络

不同于 SVM,RBF 网络采用径向基函数作为激活函数,通过 K-means 确定中心点。

Comments