Focal Loss 通过降低易分类样本权重,使模型专注于困难样本,解决类别不平衡问题。
公式
$$FL(p_t) = -\alpha_t (1 - p_t)^\gamma \log(p_t)$$
参数:
- $p_t$:模型对正确类别的预测概率
- $\alpha_t$:类别平衡参数
- $\gamma$:焦点参数(通常为 2)
原理
| 样本类型 | $p_t$ | $(1-p_t)^\gamma$ | 损失权重 |
|---|---|---|---|
| 易分类 | 大 | 小 | 低 |
| 难分类 | 小 | 大 | 高 |
示例($\gamma=2, \alpha_t=0.25$):
- 难分类样本($p=0.2$):$FL = 0.257$
- 易分类样本($p=0.8$):$FL = 0.002$
与交叉熵对比
标准交叉熵对所有样本一视同仁,Focal Loss 自动调整样本权重:
- $\gamma=0$:退化为标准交叉熵
- $\gamma>0$:越大,易分类样本权重越低
应用场景
- 目标检测(正负样本极不平衡)
- 图像分割(前景背景不平衡)
配合 $\alpha_t$ 可同时处理类别不平衡和样本难度不平衡。
张芷铭的个人博客
Comments