张芷铭的个人博客

Focal Loss 通过降低易分类样本权重,使模型专注于困难样本,解决类别不平衡问题。

公式

$$FL(p_t) = -\alpha_t (1 - p_t)^\gamma \log(p_t)$$

参数

  • $p_t$:模型对正确类别的预测概率
  • $\alpha_t$:类别平衡参数
  • $\gamma$:焦点参数(通常为 2)

原理

样本类型$p_t$$(1-p_t)^\gamma$损失权重
易分类
难分类

示例($\gamma=2, \alpha_t=0.25$):

  • 难分类样本($p=0.2$):$FL = 0.257$
  • 易分类样本($p=0.8$):$FL = 0.002$

与交叉熵对比

标准交叉熵对所有样本一视同仁,Focal Loss 自动调整样本权重:

  • $\gamma=0$:退化为标准交叉熵
  • $\gamma>0$:越大,易分类样本权重越低

应用场景

  • 目标检测(正负样本极不平衡)
  • 图像分割(前景背景不平衡)

配合 $\alpha_t$ 可同时处理类别不平衡和样本难度不平衡。

Comments