张芷铭的个人博客

📅 0001-01-01

Train-Avg Probability 是模型置信度的"体温计"，能提前发现过拟合、数据不平衡等潜在问题。

健康范围

概率值	状态	说明
≈ 0.5	正常学习	模型对分类不确定
→ 0/1	过拟合	模型过于自信
偏向某侧	数据不平衡	标签分布问题

问题诊断

现象	原因	解决方案
持续接近 0/1	过拟合/标签泄漏	增加正则化
剧烈震荡	学习率过高	降低 LR
长期稳定 0.5	模型未学习	检查数据质量

联合分析

配合 Loss：Loss 下降但概率极端 → 过拟合
配合 Accuracy：高准确率 + 极端概率 → 可疑

示例

1
2
3
4
5
6
# 健康训练
Epoch 1: Prob=0.51 | Loss=0.69 | Acc=0.60
Epoch 10: Prob=0.58 | Loss=0.53 | Acc=0.78

# 过拟合预警
Epoch 15: Prob=0.92 | Loss=0.10 | Acc=0.99

进阶监控

1
2
3
4
wandb.log({
    "Prob_Histogram": wandb.Histogram(all_probs),
    "Prob_Std": np.std(all_probs)
})

Comments