GRPO（Group Relative Policy Optimization）是DeepSeek提出的无价值网络强化学习算法，通过组内相对奖励估计优势，显存降低40%-50%，已成为LLM强化学习主流方案。

核心定义

GRPO是无价值网络的在线策略梯度算法：对同一prompt采样G个候选输出，通过组内奖励Z-score标准化计算优势，替代PPO中价值网络。

核心创新：用「同组内自我对比」替代「外部专家打分」，解决PPO双模型资源开销。

GRPO vs PPO对比

算法流程

1. 组采样：对prompt $q$，从$\pi_{\theta_{old}}$采样$G$个候选输出
2. 奖励计算：计算每个输出奖励$r_i$
3. 相对优势估计：$\hat{A}_i = \frac{r_i - \mu_r}{\sigma_r + \epsilon}$
4. 策略更新：基于裁剪目标和KL约束更新参数

数学推导

目标函数

$$J_{GRPO}(\theta) = \mathbb{E}{q\sim D} \left[ \frac{1}{G} \sum{i=1}^G \min\left( \rho_i \cdot \hat{A}i, \text{clip}(\rho_i, 1-\epsilon, 1+\epsilon) \cdot \hat{A}i \right) - \beta \cdot D{KL}(\pi\theta | \pi_{ref}) \right]$$

其中$\rho_i = \frac{\pi_\theta(o_i|q)}{\pi_{\theta_{old}}(o_i|q)}$。

token级损失

$$L_{GRPO}(\theta) = - \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \left[ \min\left( \rho_{i,t} \cdot \hat{A}i, \text{clip}(\rho{i,t}, 1-\epsilon, 1+\epsilon) \cdot \hat{A}i \right) - \beta \cdot \text{KL}{i,t} \right]$$

核心性质

适用场景

PyTorch实现

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

def grpo_loss(old_logps, new_logps, ref_logps, rewards, mask,
              clip_eps=0.2, kl_beta=0.04):
    # 组内相对优势
    advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-8)
    advantages = advantages.unsqueeze(1)

    # 重要性采样比率
    ratio = torch.exp(new_logps - old_logps.detach())

    # 裁剪目标
    surr1 = ratio * advantages
    surr2 = torch.clamp(ratio, 1 - clip_eps, 1 + clip_eps) * advantages
    pg_loss = -torch.min(surr1, surr2)

    # KL散度
    kl = torch.exp(ref_logps - new_logps) - (ref_logps - new_logps) - 1

    loss = (pg_loss + kl_beta * kl) * mask
    return (loss.sum(dim=1) / mask.sum(dim=1).clamp(min=1)).mean()

超参数调优

改进变体

常见问题