DeepSeek Math

传送门：DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models

笔者认为，本文最重要的贡献是提出了 GRPO 的强化学习算法. 通过舍弃 critic 模型，GRPO 显著减少了训练资源的使用. 当然本文还涉及数据集构建，预训练，监督微调等内容.

Structure

传统 PPO 架构. 这是一种经典的 actor-critic RL 算法.

J_{P P O} (θ) = E_{q \sim P (Q), o \sim π_{θ_{o l d}} (O | q)} \frac{1}{| o |} \sum_{t = 1}^{| o |} min [\frac{π_{θ} (o_{t} | q, o_{< t})}{π_{θ_{o l d}} (o_{t} | q, o_{< t})} A_{t}, clip (\frac{π_{θ} (o_{t} | q, o_{< t})}{π_{θ_{o l d}} (o_{t} | q, o_{< t})}, 1 - ϵ, 1 + ϵ) A_{t}] .

其中 $π_{θ}, π_{θ_{o l d}}$ 是当前和旧的 policy model. $q, o$ 是从问题数据集和旧策略 $π_{θ_{o l d}}$ 中抽样的问题和输出. $ϵ$ 是一个与裁剪有关的超参数，用于稳定训练， $A_{t}$ 是优势，通过 GAE 计算，需要用到奖励 ${r_{\geq t}}$ 和 value function $V_{ψ}$ . 为了防止 reward model 的过度优化，标准的方法是从参考模型上添加 KL penalty.

r_{t} = r_{ϕ} (q, o_{\leq t}) - β \log \frac{π_{θ} (o_{t} | q, o_{< t})}{π_{r e f} (o_{t} | q, o_{< t})} .

下面的 GRPO 算法省略了 value function. ${\hat{A}}_{i, t}$ 是基于每组内部输出的相对奖励计算的优势.

\begin{aligned} J_{G R P O} (θ) = & E_{q \sim P (Q), {o_{i}}_{i = 1}^{G} \sim π_{θ_{o l d}} (O | q)} \frac{1}{G} \sum_{i = 1}^{G} \frac{1}{| o_{i} |} \sum_{t = 1}^{| o_{i} |} \\ {min [\frac{π_{θ} (o_{i, t} | q, o_{i, < t})}{π_{θ_{o l d}} (o_{i, t} | q, o_{i, < t})} {\hat{A}}_{i, t}, clip (\frac{π_{θ} (o_{i, t} | q, o_{i, < t})}{π_{θ_{o l d}} (o_{i, t} | q, o_{i, < t})}, 1 - ϵ, 1 + ϵ) {\hat{A}}_{i, t}] - β D_{K L} [π_{θ} | | π_{r e f}]} . \end{aligned}

与在线 RFT 相比，GRPO 通过根据奖励模型提供的奖励值独特地调整其梯度系数，从而可以根据响应的不同大小进行差异化强化与惩罚. 同时，通过直接将训练 policy 和参考 policy 的 KL penalty 添加到 loss 中，避免了之前 KL penalty 计算的复杂性. KL 散度通过下面的无偏估计量来估计.

D_{K L} [π_{θ} | | π_{r e f}] = \frac{π_{r e f} (o_{i, t} | q, o_{i, < t})}{π_{θ} (o_{i, t} | q, o_{i, < t})} - \log \frac{π_{r e f} (o_{i, t} | q, o_{i, < t})}{π_{θ} (o_{i, t} | q, o_{i, < t})} - 1 > 0.

Outcome Supervision RL. 对于每个问题 $q$ ，从旧的策略模型 $π_{θ_{o l d}}$ 中抽取一组输出 ${o_{1}, \dots, o_{G}}$ . 然后，使用奖励模型对输出进行打分，相应地产生 $G$ 个奖励 $r = {r_{1}, \dots, r_{G}}$ . 接着定义 ${\hat{A}}_{i, t}$ 为减去组均值后的归一化奖励

{\hat{A}}_{i, t} = {\tilde{r}}_{i} = \frac{r_{i} - m e a n (r)}{s t d (r)} .

Process Supervision RL. 设 $index (j)$ 为第 $j$ 步，则奖励 $R = {{r_{1}^{index (1)}, \dots, r_{1}^{index (K_{1})}}, \dots, {r_{G}^{index (1)}, \dots, r_{G}^{index (K_{G})}}}$ . 取

{\hat{A}}_{i, t} = \sum_{index (j) \geq t} {\tilde{r}}_{i}^{index (j)} = \sum_{index (j) \geq t} \frac{r_{i}^{i n d e x (j)} - m e a n (R)}{s t d (R)} .

Iterative RL. 下面的算法展示了 GRPO 与迭代式 RL 的合成.

\begin{matrix} Iterative Group Relative Policy Optimization \\ \begin{aligned} Inp & initial policy model π_{θ_{init}}; reward models r_{ϕ}; task prompts D; hyperparameters ϵ, β, μ \\ 1 & policy model π_{θ} \leftarrow π_{θ_{i n i t}} \\ 2 & for iteration = 1, \dots, I do \\ 3 & reference model π_{r e f} \leftarrow π_{θ} \\ 4 & for step = 1, \dots, M do \\ 5 & Sample a batch D_{b} from D \\ 6 & Update the old policy model π_{θ_{o l d}} \leftarrow π_{θ} \\ 7 & Sample G outputs {o_{i}}_{i = 1}^{G} \sim π_{θ_{o l d}} (\cdot ∣ q) for each question q \in D_{b} \\ 8 & Compute rewards {r_{i}}_{i = 1}^{G} for each sampled output o_{i} by running r_{ϕ} \\ 9 & Compute {\hat{A}}_{i, t} for the t -th token of o_{i} through group relative advantage estimation \\ 10 & for GRPO iteration = 1, \dots, μ do \\ 11 & Update the policy model π_{θ} by maximizing the GRPO objective \\ 12 & end for \\ 13 & end for \\ 14 & Update r_{ϕ} through continuous training using a replay mechanism \\ 15 & end for \\ Opt & π_{θ} \end{aligned} \end{matrix}

Discussions

本文指出，代码训练从某种程度上加强了模型的数学推理能力. 本文还提出了下面的统一强化学习范式，并给出了一些实验结果.

\nabla_{θ} J_{A} (θ) = E [\underset{D a t a S o u r c e}{\underset{⏟}{(q, o) \sim D}}] (\frac{1}{| o |} \sum_{t = 1}^{| o |} \underset{G r a d i e n t C o e f f i c i e n t}{\underset{⏟}{G C_{A} (q, o, t, π_{r f})}} \nabla_{θ} \log π_{θ} (o_{t} | q, o_{< t})) .

本文还提出了一些有关强化学习的有趣见解. 例如，RL 提升了 Maj@K 但对 Pass@K 没有影响，暗示 RL 通过使输出分布更加稳健来提高模型的整体性能. 同时，从三个方面来看：

Data Source. 在强化学习中，我们从 policy model 中抽样得到无标签问题和它们的答案. 改进的方向包括基于树搜索的采样策略，高效推理技术等，从而提高策略模型的探索效率.
Algorithms. 标注数据有时不可信，如何开发对噪声奖励信号具有鲁棒性的 RL 算法，如何使用 WEAK-STRONG 的对齐方式.
Reward Function. 如何增强奖励模型的泛化能力从而解决 out-of-distribution 的问题，如何反映奖励模型的不确定性，如何高效地构建高质量的 PRM 从而提供细粒度的训练信号.

同时，本文以一种统一的视角分析了 SFT, RFT, Online RFT, DPO, PPO, GRPO 算法. 具体来说：

Supervised Fine-tuning. 旨在最大化下面的目标.

J_{S F T} (θ) = E_{q, o \sim P_{s f t} (Q, O)} (\frac{1}{| o |} \sum_{t = 1}^{| o |} \log π_{θ} (o_{t} | q, o_{< t})) .

数据源：用于 SFT 的数据集. 奖励函数：可以被视作人类选择. 梯度系数：恒为 $1$ .

Rejection Sampling Fine-tuning. 首先从 SFT 的 LLM 中采样多个输出，然后在具有正确答案的输出上训练 LLM. 旨在最大化下面的目标.

J_{R F T} (θ) = E_{q \sim P_{s f t} (Q), o \sim π_{s f t} (O | q)} (\frac{1}{| o |} \sum_{t = 1}^{| o |} I (o) \log π_{θ} (o_{t} | q, o_{< t})) .

数据源：SFT 数据集中的问题与 SFT 模型的输出. 奖励函数：rule-based. 梯度系数：

G C_{R F T} (q, o, t) = I (o) = {\begin{cases} 1 & t h e a n s w e r o f o i s c o r r e c t \\ 0 & t h e a n s w e r o f o i s i n c o r r e c t \end{cases} .

Online Rejection Sampling Fine-tuning. 从实时策略模型 $π_{θ}$ 中采样，而不是 SFT 模型.

\nabla_{θ} J_{O n R F T} (θ) = E_{q \sim P_{s f t} (Q), o \sim π_{θ} (O | q)} (\frac{1}{| o |} \sum_{t = 1}^{| o |} I (o) \nabla_{θ} \log π_{θ} (o_{t} | q, o_{< t})) .

Direct Preference Optimization (DPO). 旨在最大化下面的目标.

J_{D P O} (θ) = E_{q \sim P_{s f t} (Q), o^{+}, o^{-} \sim π_{s f t} (O | q)} \log σ (β \frac{1}{| o^{+} |} \sum_{t = 1}^{| o^{+} |} \log \frac{π_{θ} (o_{t}^{+} | q, o_{< t}^{+})}{π_{r e f} (o_{t}^{+} | q, o_{< t}^{+})} - β \frac{1}{| o^{-} |} \sum_{t = 1}^{| o^{-} |} \log \frac{π_{θ} (o_{< t}^{-} | q, o_{< t}^{-})}{π_{r e f} (o_{< t}^{-} | q, o_{< t}^{-})}) .

\begin{aligned} \nabla_{θ} J_{D P O} (θ) = & E_{q \sim P_{s f t} (Q), o^{+}, o^{-} \sim π_{s f t} (O | q)} \\ (\frac{1}{| o^{+} |} \sum_{t = 1}^{| o^{+} |} G C_{D P O} (q, o, t) \nabla_{θ} \log π_{θ} (o_{t}^{+} | q, o_{< t}^{+}) - \frac{1}{| o^{-} |} \sum_{t = 1}^{| o^{-} |} G C_{D P O} (q, o, t) \nabla_{θ} \log π_{θ} (o_{t}^{-} | q, o_{< t}^{-})) . \end{aligned}

数据源：SFT 数据集中的问题与 SFT 模型的输出. 奖励函数：一般领域的人类偏好. 梯度系数：

G C_{D P O} (q, o, t) = σ (β \log \frac{π_{θ} (o_{t}^{-} | q, o_{< t}^{-})}{π_{r e f} (o_{t}^{-} | q, o_{< t}^{-})} - β \log \frac{π_{θ} (o_{t}^{+} | q, o_{< t}^{+})}{π_{r e f} (o_{t}^{+} | q, o_{< t}^{+})}) .

Proximal Policy Optimization (PPO). 旨在最大化下面的目标

J_{P P O} (θ) = E_{q \sim P_{s f t} (Q), o \sim π_{θ_{o l d}} (O | q)} \frac{1}{| o |} \sum_{t = 1}^{| o |} min [\frac{π_{θ} (o_{t} | q, o_{< t})}{π_{θ_{o l d}} (o_{t} | q, o_{< t})} A_{t}, clip (\frac{π_{θ} (o_{t} | q, o_{< t})}{π_{θ_{o l d}} (o_{t} | q, o_{< t})}, 1 - ϵ, 1 + ϵ) A_{t}] .

假如在每个探索阶段后只有一次更新，那么 $π_{θ_{o l d}} = π_{θ}$ . 于是

J_{P P O} (θ) = E_{q \sim P_{s f t} (Q), o \sim π_{θ_{o l d}} (O | q)} \frac{1}{| o |} \sum_{t = 1}^{| o |} \frac{π_{θ} (o_{t} | q, o_{< t})}{π_{θ_{o l d}} (o_{t} | q, o_{< t})} A_{t} .

\nabla_{θ} J_{P P O} (θ) = E [q \sim P_{s f t} (Q), o \sim π_{θ_{o l d}} (O | q)] \frac{1}{| o |} \sum_{t = 1}^{| o |} A_{t} \nabla_{θ} \log π_{θ} (o_{t} | q, o_{< t}) .

数据源：SFT 数据集中的问题与 policy model 的输出. 奖励函数：reward model. 梯度系数： $G C_{P P O} (q, o, t, π_{θ_{r m}}) = A_{t} .$

其中 $A_{t}$ 是优势，基于广义优势估计 GAE 得出，基于奖励 ${r_{\geq t}}$ 和 value function $V_{ψ}$ 得出.

Group Relative Policy Optimization (GRPO). 假设 $π_{θ_{o l d}} = π_{θ}$ .

\begin{aligned} J_{G R P O} (θ) & = E_{q \sim P_{s f t} (Q), {o_{i}}_{i = 1}^{G} \sim π_{θ_{o l d}} (O | q)} \frac{1}{G} \sum_{i = 1}^{G} \frac{1}{| o_{i} |} \\ {\sum_{t = 1}^{| o_{i} |} [\frac{π_{θ} (o_{i, t} | q, o_{i, < t})}{π_{θ_{o l d}} (o_{i, t} | q, o_{i, < t})} {\hat{A}}_{i, t} - β (\frac{π_{r e f} (o_{i, t} | q, o_{i, < t})}{π_{θ} (o_{i, t} | q, o_{i, < t})} - \log \frac{π_{r e f} (o_{i, t} | q, o_{i, < t})}{π_{θ} (o_{i, t} | q, o_{i, < t})} - 1)]} . \end{aligned}

\begin{aligned} \nabla_{θ} J_{G R P O} (θ) & = E_{q \sim P_{s f t} (Q), {o_{i}}_{i = 1}^{G} \sim π_{θ_{o l d}} (O | q)} \frac{1}{G} \sum_{i = 1}^{G} \frac{1}{| o_{i} |} \\ {\sum_{t = 1}^{| o_{i} |} [{\hat{A}}_{i, t} + β (\frac{π_{r e f} (o_{i, t} | o_{i, < t})}{π_{θ} (o_{i, t} | o_{i, < t})} - 1)] \nabla_{θ} \log π_{θ} (o_{i, t} | q, o_{i, < t})} . \end{aligned}

数据源：SFT 数据集中的问题与 policy model 的输出. 奖励函数：reward model. 梯度系数：

G C_{G R P O} (q, o, t, π_{θ_{r m}}) = {\hat{A}}_{i, t} + β (\frac{π_{r e f} (o_{i, t} | o_{i, < t})}{π_{θ} (o_{i, t} | o_{i, < t})} - 1) .

其中 ${\hat{A}}_{i, t}$ 是基于分组的奖励分数计算的.

本页面最近更新：，更新历史
发现错误？想一起完善？在 GitHub 上编辑此页！
本页面贡献者：OI-wiki
本页面的全部内容在协议之条款下提供，附加条款亦可能应用