从这个例子开始: 在概率论、统计学以及深度学习(如强化学习 RLHF 中的奖励模型 RM)中,这个大写字母 \mathbb{E} 是一个非常核心的数学符号。

1. 字体名称

这个字体被称为 Blackboard Bold(黑板粗体),在 \LaTeX 中通过 \mathbb{E} 渲染。 它的特点是双线结构,最初源于数学家在黑板上无法方便地写出印刷体粗体(Boldface),于是用双线来表示集合或特定数学算子。

2. 核心含义

\mathbb{E} 代表 Expectation数学期望,简称期望)。 在本质上,它表示随机变量在概率分布下的加权平均值

公式中的具体含义

在图中的 Pairwise Ranking Loss 公式中:

它表示:对所有可能的样本对 (x, y_w, y_l) 按照其在训练数据集中的概率分布,计算后面方括号内损失值的期望(即理论上的平均损失)

由于在实际训练中我们无法遍历无限的真实分布,通常会使用 样本均值(Empirical Mean) 来近似这个期望。也就是说,在写代码实现时(如 PyTorch),这个 \mathbb{E} 通常对应一个 Batch 内所有样本损失的 -.mean() 操作。

3. 常见数学书写字体与含义系统介绍

在机器学习和高级数学推导中,为了区分标量、向量、矩阵、集合和算子,通常会严格使用不同的字体系统。以下是高频出现的几类字体:

1) Blackboard Bold (黑板粗体 \mathbb)

专用于表示标准的数集特定的统计学算子

  • \mathbb{E}:数学期望(Expectation)。

  • \mathbb{P} 或 \mathbb{P}r:概率(Probability)。

  • \mathbb{R}:实数集(Real numbers)。例如 \mathbb{R}^d 表示 d 维实数空间。

  • \mathbb{Z} / \mathbb{N} / \mathbb{Q}:整数集 / 自然数集 / 有理数集。

2) Calligraphic (花体 \mathcal)

通常用于表示抽象集合空间系统特定的损失函数/架构

  • \mathcal{D}:数据集(Dataset),如 (x, y_w, y_l) \sim \mathcal{D} 表示数据采样自数据集。

  • \mathcal{X} / \mathcal{Y}:输入空间 / 输出空间(如文本 Token 的字典集合)。

  • \mathcal{L}:损失函数(Loss function),有时也写为图像中的 L(\theta)。

  • \mathcal{M}:模型(Model)或流形(Manifold)。

3) Boldface (粗体 \mathbf\boldsymbol)

在传统的机器学习论文中,用于区分标量与高维张量。

  • 小写黑斜体(如 \mathbf{x}, \mathbf{y}):表示向量(Vector)

  • 大写黑正体/斜体(如 \mathbf{X}, \mathbf{W}):表示矩阵(Matrix)或权重张量****或

4) Standard Italic (标准斜体)

普通的数学变量写法(如 x, y, \theta, K)。

  • 用于表示标量(Scalar)索引(Index)或普通参数****或。例如公式中的 K 是一个具体的整数,\theta 是参数标量/集合。