XGBoost 是极致优化的梯度提升框架，通过并行处理、正则化和近似算法显著提升性能。

目标函数

$$\mathcal{L}(\phi) = \sum_{i} l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)$$

正则项：$\Omega(f_k) = \gamma T + \frac{1}{2}\lambda ||w||^2$

发展历程

关键参数

适用场景

适用：表格数据、大规模数据集、特征重要性分析、竞赛场景

不适用：图像/音视频处理、小样本学习、在线学习

代码示例

1
2
3
4
5

import xgboost as xgb

dtrain = xgb.DMatrix(X_train, label=y_train)
params = {'objective': 'reg:squarederror', 'learning_rate': 0.05, 'max_depth': 6}
model = xgb.train(params, dtrain, num_boost_round=1000)

最新进展