简介

• 简介
• 什么是强化学习
• 为什么llm需要强化学习
• 从训练机器人行走开始
• rl 与llm
  • 有哪些模型
  • actor_loss 演变过程
  • critic_loss 和reward_loss
  • 汇总
• 从Policy Gradient（策略梯度）到PPO到GRPO
  • PPO(Proximal Policy Optimization)
  • Group Relative Policy Optimization(群体相对策略优化)
• 其它

强化学习的目标是找到一个「策略」，所谓策略，就是「在某个环境状态下，需要采取某个动作」。这里的「学习」二字，可以借由「机器学习」的概念去理解，你可以笼统地认为为是「用一个函数去逼近这个策略」。而「神经网络」就可以看做是这个函数逼近器。而「强化」二字，可以借由「控制系统」的概念去理解，RL 算法是构建一个「闭环控制系统」，其目标是通过与环境的交互来优化决策。在不断地「采样-评估-更新」过程中，找到或逼近解一个高维动态规划问题的「最优策略」，其本质是求解由随机过程和不完全信息耦合所带来的高维优化问题。在这个视角下，RL的数学本质可以概括为：构建闭环的学习系统，利用反馈信息去逼近策略函数。PS：「闭环」是控制系统中的概念，具有反馈环节，能够感知系统输出的变化，并根据输出的变化进行调整。与之相对的是「开环」概念，没有反馈环节。

什么是强化学习

强化学习（Reinforcement Learning, RL）是一种机器学习方法，模型通过与环境的交互来学习决策策略。模型在每一步的选择中会得到奖励或惩罚，目标是最大化长期的累积奖励。在自然语言处理（NLP）中，强化学习可以用于优化模型的输出，使其更符合期望的目标。强化学习算法主要以原来的训练结果为基础，只是不断调整新的处理结果与目标问题（强化学习算法本身的专业术语叫“环境”）之间的偏差（专业术语叫“奖励”）。

RL包含行动、 环境、观察、奖励机制等模块，奖励机制是RL 具有特色的模块，在奖励机制出现之前，众多机器学习算法是通过损失函数的梯度更新来进行模型学习的，这种损失函数优化效果带来的是模型直接收益反馈，然而不同于传统机器学习任务的单一任务分析，针对复杂环境的分析以及任意动作的带来的奖励反馈极为动态，比如我们在驾驶场景，方向盘多转动5度所带来的奖励收益是极为复杂的，这也让众多传统机器学习算法无法对上述任务进行建模。如何设计良好的奖励机制，是强化学习系统算法建模之前就要想清楚的问题。RLHF的做法是不再像原有RL依赖机器计算奖励反馈，而是利用人工计算奖励反馈，所以该算法框架才被定义为基于人类反馈的强化学习框架。

强化学习是一种机器学习方法，它通过让智能体在环境中执行动作，以获得反馈或奖励信号，从而学习最优策略。通过不断地试错和调整策略，智能体逐渐找到能够最大化长期回报的行为路径。这种学习方法常用于需要决策和动态环境交互的任务，如游戏、机器人导航和自动化控制系统。想象一下，你有一只机器狗，它已经在基本的狗行为上进行了初步训练，比如行走和听从简单的命令。

1. 微调就像是对这只机器狗进行进一步的训练以适应特定的任务环境。比如说，你希望这只机器狗能够在公园里捡回特定种类的球。通过微调，你可以在原有的训练基础上，用一组特定的数据集（比如各种颜色和大小的球）来调整其行为，使其在新环境中表现得更好。
2. 强化学习训练则有点像是教这只机器狗通过尝试和错误来学习新技能（通常不依赖于预定义的数据集，而是依赖于与环境的持续交互。）。在这种情况下，你没有直接告诉它应该怎么做，而是为它设定一个目标，比如尽可能快地找到并捡起一只球。机器狗每完成一次任务都会获得奖励，然后它将通过调整自己的行为来最大化获得的奖励。例如，如果机器狗发现跑直线能更快地找到球，它可能会在未来的尝试中更倾向于这样做。

o1核心作者MIT演讲：激励AI自我学习，比试图教会AI每一项任务更重要

1. 激励AI自我学习比试图教会AI每一项具体任务更重要。如果尝试以尽可能少的努力解决数十个任务，那么单独模式识别每个任务可能是最简单的；如果尝试解决数万亿个任务，通过学习通用技能（例如语言、推理等）可能会更容易解决它们。“授人以鱼不如授人以渔”，用一种基于激励的方法来解决任务。Teach him the taste of fish and make him hungry.（教AI尝尝鱼的味道，让他饿一下）然后AI就会自己出去钓鱼，在此过程中，AI将学习其他技能，例如耐心、学习阅读天气、了解鱼等。其中一些技能是通用的，可以应用于其他任务。面对这一“循循善诱”的过程，也许有人认为还不如直接教来得快。但在Hyung Won看来：对于人类来说确实如此，但是对于机器来说，我们可以提供更多的计算来缩短时间。换句话说，面对有限的时间，人类也许还要在专家 or 通才之间做选择，但对于机器来说，算力就能出奇迹。
2. 此外，他还认为当前存在一个误区，即人们正在试图让AI学会像人类一样思考。但问题是，我们并不知道自己在神经元层面是如何思考的。机器应该有更多的自主性来选择如何学习，而不是被限制在人类理解的数学语言和结构中。在他看来，一个系统或算法过于依赖人为设定的规则和结构，那么它可能难以适应新的、未预见的情况或数据。造成的结果就是，面对更大规模或更复杂的问题时，其扩展能力将会受限。

强化学习整体流程

1. 强化学习的两个实体：智能体（Agent）与环境（Environment）
2. 强化学习中两个实体的交互：
   1. 状态空间S：S即为State，指环境中所有可能状态的集合
   2. 动作空间A：A即为Action，指智能体所有可能动作的集合
   3. 奖励R：R即为Reward，指智能体在环境的某一状态下所获得的奖励。

智能体与环境的交互过程如下：

1. 在 t 时刻，环境的状态为 $S_{t}$ ，达到这一状态所获得的奖励为 $R_{t}$
2. 智能体观测到 $S_{t}$ 与 $R_{t}$ ，采取相应动作 $A_{t}$
3. 智能体采取 $A_{t}$ 后，环境状态变为 $S_{t+1}$，得到相应的奖励 $R_{t+1}$

$R_{t}$ 表示环境进入状态$S_{t}$下的即时奖励。但如果只考虑即时奖励，目光似乎太短浅了：当下的状态和动作会影响到未来的状态和动作，进而影响到未来的整体收益。所以，一种更好的设计方式是：t时刻状态s的总收益 = 身处状态s能带来的即时收益 + 从状态s出发后能带来的未来收益。写成表达式就是：$V_t = R_t + \gamma V_{t+1}$。其中：

1. $V_{t}$ ： t 时刻的总收益，注意这个收益蕴涵了“即时”和“未来”的概念
2. $R_{t}$ ： t 时刻的即时收益
3. $V_{t+1}$ ： t+1 时刻的总收益，注意这个收益蕴涵了“即时”和“未来”的概念。而 $V_{t+1}$ 对 $V_{t}$ 来说就是“未来”。
4. $\gamma$：折扣因子。它决定了我们在多大程度上考虑将“未来收益”纳入“当下收益”。

上帝视角的客观收益我们是不知道的，只能用已知事实数据去逼近它，所以我们就用 $R_t + \gamma V_{t+1}$ 来做近似。

强化学习就是在与环境的交互中获得反馈，不断更新模型。根据对环境的了解情况，可以分成两个部分：Model-based 以及 Model-free.

1. Model-based：环境是一个白盒（每种状态对应的反馈已知、转移概率已知，等等），可以基于此设置策略。行为因此也受限于对环境的认知。Model-based 一族有 Value iteration, Policy iteration 等算法。
2. Model-free：环境是一个黑盒，只能通过环境基于的反馈进行学习。大多数常用的 RL 算法，譬如说 Q-learning, Policy gradient，都属于 Model-free。
   1. 其中 Value-based 方法不需要一个具体的策略，而是让状态-动作值函数 $Q_{\pi}(s,a)$ 充当隐式地承担起制定策略的角色（只要衡量出每个动作的价值大小，自然可以采取策略）。
   2. 而 policy-based 方法有一个显式的策略，让策略和环境交互多次，采样足够多的轨迹数据，来评估策略的价值，再据此决定策略的迭代方向。
   3. actor-critic（比如PPO） 结合了上述两种方法，其中actor 表示策略，critic表示价值函数。PS： 配套的actor-critic 架构就得有actor model 和critic model

Actor-Critic架构为什么要有Critic呢？这就涉及强化学习的算法稳定性问题。与监督学习（SL）相比，RL实际上是很难稳定的一类训练机制。大致的原因如下：

1. RL本身是处理动态系统的最优控制问题，而SL是处理一个静态优化问题。动，就比静更难处理。
2. 加上RL的数据非稳态，Env-agent交互机制的数据采集量少，这使得梯度计算的方差更大，方差一大就容易偏离预期目标，算法就容易跑飞了。主流的强化学习算法是怎么解决这一问题的呢？加上Critic，使用State-value function或者Action-value function稳定策略梯度的计算过程。更高级一些的算法是采用Advantage Function，也就是加上了Baseline，增加梯度计算的稳定性。这是AC算法总是优于REINFORCE算法的原因之一。

为什么llm需要强化学习

1. 宏观层
   1. 教 vs 发掘：这可能是大部分人对SFT和RL的直觉，一个要老师手把手教，一个追求自我探索，上限可想而知。
   2. 非唯一解：如果你有绝对的最佳答案，那用SFT应该是又快又好。但很多问题是没有唯一答案的，所以SFT面临泛化性挑战，或者说涌现不出智能。
   3. 规模化：监督数据是很难规模化的，难以收集方方面面的高质量标注数据。从‘人类模拟器’的角度，RL有望通过探索来扩展训练数据，甚至获得未知数据，比如LLM用于科研领域。
2. 微观层
   1. Token-level vs Output-level：SFT可以看成一种token level的反馈，通过交叉熵损失函数计算每个位置的误差。而RL是output level，会评估整体输出的好坏。例子：
      1. sft：输入 “春暖花_“，参考输出为”开”，模型若生成 “谢”，则该token产生损失梯度。
      2. rl：输入 “写一首关于春天的诗”，给生成的诗句进行综合评分（如4.5/5分），对每个token都会估计全局收益。
   2. 定性和定量的偏好：SFT通过离线数据处理流程获得了高质量的样本，因此LLM学到了我要按照xyz这种方式说话；但RL中会引入优势值，计算当前答案比baseline好多少，根据优势值得到梯度，因此模型可能更清楚不同层次答案的差异。并且能够通过策略梯度支持数值化的奖励，而不只是偏序。从这个角度看，DPO也是只能做到定性，a比b好，但没有建模好多少；

从训练机器人行走开始

策略梯度法入门—强化学习该例是要设计一个两腿机器人，使其能自动的行走。机器人左右腿的跨、膝、踝共有6个关节，都装有小电机，希望能自动控制它的6个小电机，使机器人能和人一样正常的行走。

强化学习需要一个软件系统，其基本组成包括：

1. 代理（Agent智能体）：是个软件，相当于机器人的大脑，是强化学习的核心。它可以接受环境状态的信息，还可以将计算的结果传输给环境。其中，负责计算的是个函数，称作策略（policy），是强化学习最重要的部分。

2. 环境（Environment）：代理以外的部分都是环境。和通常的环境概念不同，机器人所处的周边当然是环境，不同的是，机器人的躯体四肢都在代理之外，也都归于环境，比如躯干的高度，各个腿及各个关节的位置、速度等。此例中，环境状态使用31个观测值。包括

   1. 躯干沿Y和Z轴方向的坐标值，
   2. 躯干沿X、Y和Z方向的速度，
   3. 躯干旋转的角度和角速度，
   4. 6个关节的角度和角速度，
   5. 脚和地面之间的接触力。
3. 状态（State）：指环境的状态。机器人一直在移动，所以，周围环境的状态，以及自身各关节的状态也在不断的变化。
4. 行动（Action）：指代理根据当前状态采取的动作，比如机器人向左或向右，向前或向后移动等。
5. 奖励（Reward）：代理在当前状态下，采取了某个行动之后，会获得环境的反馈，称作奖励。但可能是奖励，也可能是惩罚，实际是代理对行动的评价。在强化学习中，奖励非常重要，因为样本没有标签，所以奖励起到引领学习的作用。

使机器人正常行走要做的工作。让两腿机器人正常行走，要做的工作是，用正确的指令控制每个关节，使机器人的腿和躯干正确的移动，这需要有六个关节的扭矩指令。在给定的环境状态下，如何得到正确的指令，这就是强化学习要做的工作。用传统方法开发机器人的行走程序，要人工设计逻辑、循环、控制器及参数等等，需要很多的环路，非常复杂。而强化学习的思想极为简单，它不考虑整个过程的具体步骤，不进行一步步的具体设计，而是把这一切复杂工作都塞到一个函数里，这个函数称作策略函数。策略收到环境传来的31个状态值，会自动计算出6个可供执行的指令,指令正确，机器人就会正常的行走。可以看出，强化学习中，机器人能正常行走的关键，就是这个策略函数。

所以下面的重点是：智能体里的策略函数是什么形式？它如何进行学习？如何通过环境状态值计算出6个正确的指令，使机器人能正常的行走。

1. 策略是个函数，因其过于复杂，很难用显性的公式来表式。对于这种连续且复杂的问题，强化学习是采用功能强大的神经网络来近似这个函数。这里策略神经网络是用的多层感知机（最基本的前馈神经网络），并以此为例进行说明。 神经网络包含多个隐藏层，每层都有数百个神经元，没有足够多的神经元，网络无法拟合这么复杂的非线性函数，不可能将31个观察值正确的映射到6个动作。但是，神经元过多，将花费更多的时间训练，还容易得到过拟合的逻辑。所以，如何选择网络结构，包括网络层的数量，各层如何连接，以及每层神经元的数量等等，需要丰富的经验和知识找到最佳平衡点，使训练即可行又有效。
2. 神经网络的学习过程。策略函数的学习过程，可以选择仿真或真实行走的方式。方法是让机器人不断的行走，不断的调整策略函数里的参数w和b，直至得到能使机器人正常行走的网络模型（策略函数）。一般前馈网络的学习，样本都有标签（标准答案），在一次前向传播后，计算出结果，先求计算结果与标签的误差（损失函数），再求损失函数对各个节点的偏导数（梯度），然后求出损失函数对各个参数w和b的偏导数，用这些参数的偏导数来调整各个参数。但是，强化学习是以状态观测值作为输入（样本），没有标签，当然也就没有损失函数，那么求谁的梯度（偏导数）？没有梯度怎么修改参数w和b？强化学习的作法是设计一个奖励函数，用动作的奖励函数作准则，来调整网络的参数。强化学习里奖励函数的作用，相当于一般神经网络里的损失函数。做法是，每输入31个环境状态值，用策略函数计算出6个动作指令，然后执行这6个动作指令，当然这会改变了环境的状态值，包括躯干和6个关节的位置和速度等，然后再计算这个动作的奖励函数值，通过提高奖励函数值来调整网络的各个参数w和b。注意，不是像一般前馈网络学习那样，通过减小损失函数来调整参数w和b。
3. 奖励函数。奖励函数是人工精心设计的，其作用相当于前馈网络或循环网络的标签，是引导机器人正常行走的根据。此例已经设计好的奖励函数是 \(r_t = v_x -3y^2 - 50z^2 + 25xx - 0.22xx\) 其中$v_x$是前进速度，$v_x$越大，机器人走得越快。y是侧向位移，使机器人沿着一条直线移动，不向左右偏移，越小越好。z是机器人重心的垂直位移，是要机器人的躯干保持一定的高度，不摔倒、不跳跃或蹲着走路，越小越好。其余设置，这里不逐一深究。总之，这个奖励函数值越大，机器人走的就越好。奖励函数非常重要，但其设置是个难点，需要丰富的经验和专业知识。
4. 策略函数的学习过程。现在，策略函数是一个神经网络（多层感知机），策略能否做出正确的动作指令，取决于网络里的所有参数w和b。而评价一个动作优劣的标准，是这个动作的奖励函数，奖励函数的值越高，该动作就越好。所以，强化学习是求出奖励函数对各个参数w和b的梯度，让参数w和b沿着奖励函数的梯度方向调整，这样奖励函数值就会升高，下一次遇到同样的环境状态，策略计算出的指令就会更好。就这样，反复的调整参数w和b，最终得到一个可以时时做出正确指令的神经网络。 具体作法大意是
   1. 输入31个环境值；
   2. 网络计算得到6个指令，执行指令改变了环境，检 测得到了31个新环境值；
   3. 用检测到的31个新环境值，求奖励函数对各个参数w和b的梯度（偏导数），即反向传播；
   4. 修改网络所有的参数w和b；
   5. 返回到1，进行下一循环学习。 就这样，代理不断与环境交互，不断修改策略的参数，最终，在任何状态情况下，它都会采取最有利的行动。强化学习的过程，就是不断优化这个策略的过程，整个过程，是计算机自己在学习正确的参数，实际是个反复优化完善网络的过程。上述2执行6个指令后得到的新环境状态值，是环境检测出来的，和策略网络没有连在一起，用它求奖励函数值没问题，直接代入就行。但用这个新环境状态值对各个参数w和b求偏导数，就有问题了，因为它和策略网络根本没连接上。

PS： rl和dl都是在想办法，算一个loss，优化w和b。

rl 与llm

图解大模型RLHF系列之：人人都能看懂的PPO原理与源码解读 文章后半部分没有跟上。 强化学习在LLM中的应用：给定prompt，调整policy，生成符合人类喜好（RM偏序信号）的response

1. 状态S：输入prompt
2. 在t时刻，模型根据上文，产出一个token，这个token即对应着强化学习中的动作，我们记为$A_t$。因此不难理解，在llm语境下，强化学习任务的动作空间就对应着词表。
3. 在 t时刻，模型产出token $A_t$ 对应着的即时收益为 $R_{t}$，总收益为$V_{t}$ ，这个收益即可以理解为“对人类喜好的衡量”。此刻，模型的状态从 $S_{t}$变为$S_{t+1}$，也就是从“上文”变成“上文 + 新产出的token”
4. 在llm语境下， 智能体是语言模型本身，环境则对应着它产出的语料

PS：在强化学习中，模型的输出概率被称为模型的策略。无论我们如何训练LLM，不变的部分是其输入空间（提示词的字符串）和输出空间（所有token组成的词表）。在有了RLHF这一步之后，llm就不仅仅是统计模型。

有哪些模型

生成token $A_t$和对应收益 $R_{t}$、$V_{t}$的并不是一个模型。那么在RLHF中到底有几个模型？他们是怎么配合做训练的？而我们最终要的是哪个模型？

在RLHF-PPO阶段，一共有四个主要模型，分别是：

1. Actor Model：演员模型，这就是我们想要训练的目标语言模型。一般用SFT阶段产出的SFT模型来对它做初始化。
2. Critic Model：评论家模型，它的作用是预估总收益 $V_{t}$。Critic Model的设计和初始化方式有很多种，deepspeed-chat的实现是从RW阶段的Reward Model初始化而来（毕竟输入都一样，也有critict 从actor 初始化而来的）。我们前文讨论$V_{t}$（即时 + 未来）时，我们是站在上帝视角的，也就是这个$V_{t}$就是客观存在的、真正的总收益。但是我们在训练模型时，就没有这个上帝视角加成了，也就是在 t时刻，我们给不出客观存在的总收益$V_{t}$，我们只能训练一个模型去预测它。也就是我们不仅要训练模型生成符合人类喜好的内容的能力（Actor），也要提升模型对人类喜好量化判断的能力（Critic）。 Critic在最后一层增加了一个Value Head层（全连接层），该层是个简单的线形层，让每个 token 对应一个标量，用于将原始输出结果映射成单一的$V_{t}$值。
3. Reward Model：奖励模型，它的作用是计算即时收益 $R_{t}$
   1. 有了critic 为何还要reward？$V_t = R_t + \gamma V_{t+1}$ 告诉我们，我们当前可以用两个结果来表示t时刻的总收益：Critic模型预测的$V_t$ ； Reward模型预测的$R_t$和critic模型预测的 $V_{t+1}$。那么哪一个结果更靠近上帝视角给出的客观值呢？当然是结果2，因为结果1全靠预测，而结果2中的$R_t$是事实数据。
4. Reference Model：参考模型，它的作用是在RLHF阶段给语言模型增加一些“约束”，防止语言模型训歪（朝不受控制的方向更新，效果可能越来越差）。一般也用SFT阶段得到的SFT模型做初始化，

其中:

1. Actor/Critic Model在RLHF阶段是需要训练的（图中给这两个模型加了粗边，就是表示这个含义）；而Reward/Reference Model是参数冻结的。
2. Critic/Reward/Reference Model共同组成了一个“奖励-loss”计算体系，我们综合它们的结果计算loss，用于更新Actor和Critic Model，也就是loss也分成2个：Actor loss（用于评估Actor是否产生了符合人类喜好的结果） 和 Critic loss（用于评估Critic是否正确预测了人类的喜好）

actor_loss 演变过程

我们的最终目的是让Actor模型能产生符合人类喜好的response。所以我们的策略是，先喂给Actor一条prompt （这里假设batch_size = 1，所以是1条prompt），让它生成对应的response。然后，我们再将“prompt + response”送入我们的“奖励-loss”计算体系中去算得最后的loss，用于更新actor。PS: grpo 是一个prompt 生成多个response

Actor loss，我们先来看一个直观的loss设计方式：

1. Actor接收到当前上文$S_t$ ，产出token $A_t$ （ $P(A_t

   S_t)$）

2. Critic根据 $S_t$,$A_t$，产出对总收益的预测$V_t$

3. 那么Actor loss可以设计为： $actor_loss = -{\textstyle\sum_{t \in response_timestep}} V_{t}log P(A_{t}

   S_{t})$，求和符号表示我们只考虑response部分所有token的loss。

$Adv_{t} = R_{t} + \gamma * V_{t+1} - V_{t} $这个就是单步TD误差，本质上是对优势函数 $Adv_{t}$的无偏估计。在RL算法中，常使用TD误差作为优势函数的估计，因为实际上用Critic model，很难提供真实的预期回报$V_{t}$，因为critic model只是用来拟合的一个网络，肯定有偏差。所以可通过 多步TD误差的加权平均（GAE） 进一步降低方差。

PS：一些文章提到 critic_model 目的是计算优势值，就是每个action（生成不同token）的相对于baseline（也是critic_model 提供的）的优势。 用优势（相对值）而不是绝对值也更合理，毕竟critic_model不代表客观判断， actor_loss 还在演进，这里没有写完。总归是我们知道，可以给action model 每个token算loss 了。是不是可以可以理解为rlhf和sft的反馈粒度都是token？

critic_loss 和reward_loss

关于critic_loss 第一想法是： $critic_loss =(R_{t} + \gamma * V_{t+1} - V_{t})^2 $ 当然这不是终版，critic_loss 还有一系列优化，演变过程就不细讲了。

reward_loss为排序中常见的 pairwise ranking loss。其中$r_{\theta}$是奖励模型的输出标量，$y_w$是一对回答中相对较好的那个； $y_l$是相对较差的那个回答，$\sigma$ 是sigmoid函数。

也有的文章公式是

PS： 这意思就是 $y_w$ 评分比 $y_l$ 大的越多，loss越小。此外，reward model只在t=T的时候打分，其余时间步t的时候应该是用默认值0，也就是典型的稀疏奖励，如果要改成不稀疏，需要做奖励塑形，比如每一个 token 将奖励乘上一个折扣传递给前一个 token。

汇总

没有强化学习基础也能看懂的PPO & GRPO 建议细读。

1. 只有Reward时的朴素做法：为什么会有问题？奖励信号波动很大，PS：激励一直为正
2. 引入 Critic，引入价值函数当参考线（baseline），从“只用 Reward” 进化成“用 Advantage 来衡量进步”

3. 加入 Clip 与 min 操作：防止更新过度。比如 $\frac{P(A_t

   S_t)}{P_{old}(A_t

   S_t)}$ 设置一个范围，例如(0.8 ,1.2)，也就是如果这个值一旦超过1.2，那就统一变成1.2；一旦小于0.8，那就统一变成0.8。相当于在超过约束范围时，我们停止对Actor模型进行更新。

4. Reference Model：防止作弊、极端策略，新的行为不能和这个初始策略差太远，否则就要受到 KL惩罚。Actor 不会为了短期 Reward 而脱离原本合理的策略范畴，保证策略在演化过程中不至于“作弊”或偏得太离谱。
5. Critic（价值函数）通常需要跟 Actor 同等大小的网络去估计，否则很难评估到位，成本很高，而且有些场景（比如只在回答末尾才有一个整体 Reward）并不太适合训练出精细的价值函数。用同一问题的多条输出做平均，得到一个“相对评分”，再做标准化后作为 Advantage。

从Policy Gradient（策略梯度）到PPO到GRPO

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

一些基础概念（LLM训练任务下好理解版）：

• $\pi$（Policy，策略）：即LLM模型
• $\theta$（Parameter，参数）：即模型参数
• $\tau$（Trajectory，轨迹）：即输出序列，此处可以理解为输出的一整个句子，每一个输出token即为action。
• s（State，交互状态）：即上文，初始状态即为$s_1$
• a（Action，交互行为）：即输出的token，可以简单理解为每个字符。（实际上一个字不等于一个token）

那么，我们可以得到模型参数$\theta$ 下生成序列$\tau$ 的概率如下：

Reward Function（奖励函数定义，即输出序列$\tau$ 能获得的奖励）： \(R(\tau) = \sum_{t=1}^{T} r_t\)

因此可得，模型参数 ( \theta ) 下的Expected Reward（期望奖励）： \(\overline{R}_\theta = \sum_{\tau} R(\tau) p_\theta(\tau)\)

综上，我们希望调整模型参数 $ \theta $ 使这个期望奖励越大越好，因此可得Policy Gradient公式如下，期望做gradient ascent最大化期望奖励：

\(\nabla \overline{R}_\theta = \sum_{\tau} R(\tau) \nabla p_\theta(\tau)\) \(= \sum_{\tau} R(\tau) p_\theta(\tau) \nabla \log p_\theta(\tau) \quad \text{\# Note: } \nabla f(x) = f(x) \nabla \log f(x)\) \(= E_{\tau \sim p_\theta(\tau)} [R(\tau) \nabla \log p_\theta(\tau)]\) \(\approx \frac{1}{N} \sum_{n=1}^{N} R(\tau^n) \nabla \log p_\theta(\tau^n) \quad \text{\# 实际上就是N个轨迹近似期望，使期望reward最大化}\) \(= \frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T_n} R(\tau^n) \nabla \log p_\theta(a_t^n | s_t^n) \quad \text{\# 环境无法作用gradient 所以可以移除}\)

直观理解：在某个state（上文）下执行某个action（token）使得最后整个输出$ \tau$ 的reward是正的时候，我们应该增加这个输出的几率，反之减少。PS：rl就是，判断哪个输出更好，把这个输出的概率提高多少，还是算loss并反向传播。

但是，如果仔细看上述公式，会发现 $ R(\tau) $ 即reward恒为正的情况，那会导致一直在增加任何token的输出概率。但我们实际操作中是用sample的方式来训练，这就导致某些项实际上因为没被sample到而导致输出概率下降（实际ground truth是要提升）。所以我们希望引入一个baseline（b）让reward不是恒为正。公式变成如下： \(\nabla \overline{R}_\theta = \frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T_n} (R(\tau^n) - b) \nabla \log p_\theta(a_t^n | s_t^n)\)

通常我们可以将baseline设置为reward的期望值，即 $ b \approx E[R(\tau)] $。我们知道最终输出的是一个序列 ( \tau )，且在算reward时是以 $ \tau $ 的粒度计算的。即使整体的reward是正的，也不意味着序列中的每一个action都是有收益的（如：说了一串废话，最后才说对结果）。因此，更合理的做法是我们需要给每一个action合适的credit。

首先，我们会有一些假设（注意：并不一定什么情况下都适用，应根据具体情况使用不同的reward function）：

1. reward应单独为每个action计算（前面的） \(R(\tau^n) \rightarrow \sum_{t'=t}^{T_n} r_{t'}^n \quad \text{\# 计算当前action后所有reward的总和作为当前action的reward}\)

2. 越快完成任务应越重要，距离越远贡献越小 \(R(\tau^n) \rightarrow \sum_{t'=t}^{T_n} r_{t'}^n \rightarrow \sum_{t'=t}^{T_n} \gamma^{t'-t} r_{t'}^n \quad \text{\# } \gamma \text{为时间衰减函数}\)

实际上 $R(\tau^n) - b$ 这一项其实是在算在某个state下执行某个action比执行其他action有多好，也就是我们常说的Advantage Function，可以表示为 $A^\theta(s_t, a_t)$ ，因此综上公式可以写作：

\(\nabla \overline{R}_\theta \approx \frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T_n} A^\theta(s_t, a_t) \nabla \log p_\theta(a_t^n | s_t^n)\) \(= E_{(s_t, a_t) \sim \pi_\theta} [A^\theta(s_t, a_t) \nabla \log p_\theta(a_t^n | s_t^n)]\)

PPO(Proximal Policy Optimization)

强化学习（RL）的核心过程是：一个智能体在时间 t 处于状态 $S_t$，经过动作 A 后其状态变化为 $S_{t+1}$，同时环境会给智能体一个奖励信号 R。当 RL 应用于 NLP 领域时，模型收到提示后开始输出 token，每输出一个 token 就是一个动作，每个 token 后模型会收到一个奖励模型提供的奖励信号对 token 打分，再输出下一个 token，由此逐渐输出符合期望的输出。当奖励模型的打分策略是人类制定时，此过程就称为基于人类反馈信号（HF）的强化学习（RLHF）。

由于Policy Gradient是一个on policy的方式，在每一轮更新后都需要重新收集训练数据，这无疑是很麻烦的。因此我们希望将其改造为一个off policy的方式，能重复使用一批数据去更新参数。PS：on policy同策略，就是用自己策略生成的数据去训练自己，对应的概念叫离策略（off-policy），就是用其他策略生成的数据来训练自己这个策略。

重要性采样（Importance Sampling）: $ E_{x \sim p} [f(x)] = E_{x \sim q} [f(x) \frac{p(x)}{q(x)}] $

重要性采样：描绘新旧策略对于同一个token（action）的采纳概率的变化，变化越大的token对最终的影响越大，越重要。比如，旧策略（LLM）输出‘开’的概率是0.2，新策略输出‘开’的概率是0.8，那这个比值就是0.8/0.2，说明这个token影响很大，要重点关注下。其实，重要性采样更主要的原因是数据采样效率（模拟off-policy），这里不展开。

基于上述公式Policy Gradient可以写作： \(\nabla \overline{R}_\theta \approx E_{(s_t, a_t) \sim \pi_\theta} [A^\theta(s_t, a_t) \nabla \log p_\theta(a_t^n | s_t^n)]\) \(= E_{(s_t, a_t) \sim \pi_{\theta'}} \left[ \frac{P_\theta(s_t, a_t)}{P_{\theta'}(s_t, a_t)} A^\theta(s_t, a_t) \nabla \log p_\theta(a_t^n | s_t^n) \right]\) \(= E_{(s_t, a_t) \sim \pi_{\theta'}} \left[ \frac{P_\theta(s_t | a_t)}{P_{\theta'}(s_t | a_t)} \frac{P_\theta(s_t)}{P_{\theta'}(s_t)} A^\theta(s_t, a_t) \nabla \log p_\theta(a_t^n | s_t^n) \right]\) \(= E_{(s_t, a_t) \sim \pi_{\theta'}} \left[ \frac{P_\theta(s_t | a_t)}{P_{\theta'}(s_t | a_t)} A^\theta(s_t, a_t) \nabla \log p_\theta(a_t^n | s_t^n) \right] \quad \text{\# 假设 } s_t \text{ 不受到 } \theta \text{ 影响}\)

因此我们能得到一个新的Objective Function： \(J^{\theta^k} (\theta) = E_{(s_t, a_t) \sim \pi_{\theta^k}} \left[ \frac{P_\theta(s_t | a_t)}{P_{\theta^k}(s_t | a_t)} A^{\theta^k} (s_t, a_t) \right] \quad \text{\# Note: } \nabla f(x) = f(x) \nabla \log f(x)\) 实际上是 $ \theta’ $ 在交互，然后更新 $ \theta $。

为了保证训练后比之前不至于差距太大（基础能力等不会变化太大），引入一个类正则项如下： \(J^{PPO}_\theta (\theta) = J^{\theta'} (\theta) - \beta KL(\theta, \theta')\) Note：这个KL散度说的不是参数分布距离，而是输出分布距离（behavior distance）。实际应用中可以使用adaptive KL penalty用于动态调整 $ \beta $ \(\text{if } KL(\theta, \theta^k) > KL_{\max}, \text{ increase } \beta\) \(\text{if } KL(\theta, \theta^k) < KL_{\min}, \text{ decrease } \beta\)

但更多的大家会用以下PPO2公式，简化计算（KL太难算）： \(J^{PPO2}_\theta (\theta) \approx \sum_{(s_t, a_t)} \min \left( \frac{p_\theta(a_t | s_t)}{p_{\theta^k}(a_t | s_t)} A^{\theta^k} (s_t, a_t), \text{clip} \left( \frac{p_\theta(a_t | s_t)}{p_{\theta^k}(a_t | s_t)}, 1 - \varepsilon, 1 + \varepsilon \right) A^{\theta^k} (s_t, a_t) \right)\) 本质上就是替换了adaptive KL penalty这一块，保证两个分布间不要差距太大。 Note: clip(a,b,c); 当a<b时，取b；当a>c时，取c；其余取a。

Group Relative Policy Optimization(群体相对策略优化)

GRPO舍弃了传统PPO算法中的Critic模型(通常与策略模型大小相同)部分，转而通过直接从群体得分中估算baseline。在训练大语言模型llm时，一个最大的问题是中间状态很难评估（PPO的critic model总是试图精细地预测每个步骤的价值），由于语言生成是一个自回归式的序列决策过程，我们很难直接判断某个中间状态的好坏，——它是否能最终生成一个高质量答案，往往是不确定的。这就带来了一个核心问题：PPO中使用的critic model（即计算价值函数value function 用的模型）到底有没有用？它的意义有多大？准不准？这都是很难确定的。所以，PPO中critic model的意义虽然存在，但它的准确性是个大问题，限制了整体方法的可靠性。相比之下，GRPO采取了一种截然不同的思路：它直接让llm多次sample，生成完整的响应，然后用显式的奖励来评价这些最终结果。正因为一把梭哈，直接生成结果，完全跳过了对中间状态的评估，直接聚焦于完整输出的质量。既然中间状态这么难评估，那就干脆不评估，生成结果出来后自然可以通过设计好的奖励机制来判断好坏。这样一来，GRPO省去了预测中间状态价值的麻烦，直接依赖最终输出的奖励信号。更重要的是，这种方式可以通过显式设计reward奖励信号，而且必然是有效的。因为奖励是针对完整响应计算的，这种清晰的反馈比PPO中模糊的价值函数预测要可靠得多。

具体来说，对于每一个问题 $ q $ ，GRPO会从旧的策略模型参数 $ \pi_{\theta_{\text{old}}} $ 中采样一组输出 $ {o_1, o_2, o_3, \ldots, o_G} $，然后通过最大化GRPO目标函数以优化当前策略模型参数 $ \pi_\theta $。

辅助理解：不同的策略模型 $\pi$ 实际上是一个模型在不同参数阶段下的版本。

具体可以按如下理解，

• $ \pi_{\theta_{\text{old}}} $：上一轮模型参数的模型，可以理解为 $ \pi_\theta $ 上一个iteration的模型。
• $ \pi_\theta $：最新的模型参数的模型（正在更新的）。
• $ \pi_{\theta_{\text{ref}}} $：初始模型参数。

原文公式如下图所示：

$ \varepsilon $ 控制学习步长上限，保证每一轮学习不至于与上一轮偏移过大。主要是防止策略崩溃。

$ \beta $ 控制原始能力偏移惩罚的程度。主要是缓解灾难性遗忘的问题。

DeepSeek的GRPO算法是什么？ - 梦想成真的回答 - 知乎最核心的就是$\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}A_i$

1. q 表示此次的问题
2. $o_i$ 表示旧的policy model 的第i个输出策略
3. $\pi_\theta(o_i \mid q)$ 表示给定问题q，policy model 输出$o_i$的概率
4. $\pi_{\theta_{\text{old}}}(o_i \mid q)$ 表示给定问题q，旧的上一轮梯度下降后的 policy model 输出$o_i$的概率

进而，我们知道了$\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}$其实就是policy 模型学习过程中的偏移程度，很明显，loss中要最大化$\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}$，然这不能无上限的 maximize，因为PPO其实是希望模型一点一点学，每一次不能偏移过多，因此clip项就是在做梯度剪裁，KL散度也在进行正则。$\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}$越大，比如说大于1，那么说明新的策略模型更倾向于输出$o_i$这个策略。

我们再说优势函数 (Advantage Function) $A_i$，R1中非常简单直接，就是reward score 做个标准化，得到的$A_i$就是第i个决策在多个决策中相比较baseline 好多少或者坏多少。如果$A_i$>0，那么就是正向激励，否则，$A_i$< 0 就是负向激励。

通过如下公式计算出：

我们现在可以讲解 $\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}A_i$ 为啥要把这两项乘到一起？其实原因很简单，$\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}$就是第i个输出的策略倾向，$A_i$可以理解为一种激励。如果新的策略模型$\pi_\theta(o_i \mid q)$比旧的策略模型$\pi_{\theta_{\text{old}}}(o_i \mid q)$更加希望输出$o_i$ 的策略，并且优势函数$A_i$> 0，也就是获得的reward score好于平均值，那么当然值得鼓励了，所以最大化这一项没有问题。如果$A_i$< 0，说明使用这种策略反倒效果不好，此时$\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}A_i$是一个负数，最大化负数不就是减少$\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}$，也就是减少输出 $o_i$的策略的概率吗？对于一堆候选策略，当你做的比别人好，我鼓励你，当你做的比别人差，我尽量减少这种情况再次出现，模型就一步一步朝着更好的优化方向走了。PS：$A_i$ 是Response 粒度的Advantage，如何转为每个 token 的loss？计算新策略和旧策略的概率比，将概率比与相对优势相结合$\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}A_i$，并加上 KL 正则项，算作每个 token 的损失。

接下来说clip，$\text{clip} \left( \frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}, 1-\varepsilon, 1+\varepsilon \right)A_i$，clip( ) 这一项表示把$\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}$ 限制在 $1-\varepsilon$ 到$1+\varepsilon$之间，类似梯度剪裁。$\varepsilon$是一个超参数。很简单，GRPO并不希望新的策略模型更新的太快，本身强化学习就不好训练，容易训飞。

GRPO希望 $ D_{KL} \left( \pi_\theta \mid \mid \pi_{\text{ref}} \right) = \frac{\pi_{\text{ref}}(o_i \mid q)}{\pi_\theta(o_i \mid q)} - \log \frac{\pi_{\text{ref}}(o_i \mid q)}{\pi_\theta(o_i \mid q)} - 1$ 尽量变小一点。需要注意的是，这并不是标准的KL散度，让$D_{KL} \left( \pi_\theta \mid \mid \pi_{\text{ref}} \right)$变小就是让$\frac{\pi_{\text{ref}}(o_i \mid q)}{\pi_\theta(o_i \mid q)}$变小。$\pi_{\text{ref}}(o_i \mid q)$是上一个epoch训练好的$\pi_\theta(o_i \mid q)$，新的epoch中保持不变，而$\pi_\theta(o_i \mid q)$是新的epoch正在训练的策略模型。这意味着这个kl变体损失项是为了让分子和分母基本上相同，当x=1的时候（参考$x-lnx-1$ 的曲线），kl变体损失项最小为0。

我们稍微总结下GRPO：GRPO去掉了value model，仅仅只训练policy model，并且使用reward score标准化的方式作为baseline，让模型找到更优的解法，为了更稳定的训练，clip项和KL散度变种都是辅佐让模型不要训飞，一步步慢慢学的手段。

其它

从Policy Gradient到REINFORCE++，万字长文梳理强化学习最新进展

PPO另一个版本，目标函数 $$

\mathrm{objective}(\phi)={E}{(x,y)\sim D{\pi_{\phi}^{\mathrm{RL}}}}[r_{\theta}(x,y)- \beta\log(\pi_{\phi}^{\mathrm{RL}}(y \mid x) / \pi^{\mathrm{SFT}}(y \mid x))]

• \gamma {E}{x \sim D{\mathrm{pretrain}}} [\log(\pi_{\phi}^{\mathrm{RL}}(x))] $$

1. 第一项 ${E}{(x,y)\sim D{\pi_{\phi}^{\mathrm{RL}}}}[r_{\theta}(x,y)]$，这里 $(x,y)\sim D$，是我们用于RLHF训练的数据集，输入(x)，y是模型对应的输出。目标函数是奖励模型r_θ(x,y)在训练数据上的期望值。所以这里是试图最大化之前训练的奖励模型预测的奖励。
2. 第二项，同样，x是提示，y是模型输出。$\pi_{\phi}^{\mathrm{RL}}(y \mid x)$ 是我们正在训练的当前模型的预测概率，而 $\pi^{\mathrm{SFT}}(y \mid x)$ 是我们开始时的基础模型的预测概率，令$p=\pi_{\phi}^{\mathrm{RL}}(y \mid x)$ ，$q=\pi^{\mathrm{SFT}}(y \mid x)$，$- \beta {E}{(x,y)\sim D{\pi_{\phi}^{\mathrm{RL}}}}\log(p / q)]$，这个期望值是两个分布p和q之间的Kullback-Leibler散度（KL散度），它表示两个分布的差异程度。通过对差异施加惩罚，确保在训练模型时，其输出概率与基础模型中的输出概率（预训练+指令微调后的模型）保持相近。
3. 最后一项 $\gamma {E}{x \sim D{\mathrm{pretrain}}} [\log(\pi_{\phi}^{\mathrm{RL}}(x))]$，这里$x\sim D_{pretrain}$ 是回到预训练数据集$D_{pretrain}$，这一项形式上和之前下一个token的预测采用的损失函数是一样的，只是乘以一个常数$\gamma $添加这一项的目的是进行RLHF时，保持在预训练数据上预测下一个token的良好性能。

这个就是PPO，”proximal”是因为我们保持接近基础模型，”policy optimization”是因为在强化学习中，模型的输出概率被称为模型的策略。

RL和传统的SFT技术有几点不同：

1. SFT只是模仿学习正例。而RL不仅对好的样本奖励，也要对坏的样本惩罚。无论是简单的策略梯度，还是GRPO、Reinforce、PPO这些算法，原理都是一致的，本质上只是在设计不同的奖励/惩罚的粒度（token/macro action/seq等等）和力度（需不需要引入baseline，要不要考虑KL限制，要不要clip等等）。
2. 允许使用当前模型在线产出的样本训练自身。SFT一般学习的都是人工标注或者其他模型生成的样本（即蒸馏）。而RL允许当前模型实时采样样本，并依据这些样本训练自身。
   1. Rejection Sampling技术也是自己采样训练自己，为什么一般用在SFT阶段？其实从这个角度来看，RS技术更像是RL，只不过没有惩罚信号（也可以引入负例进一步做DPO）；
   2. on-policy vs. online：
      1. online强调当前策略模型是否能和环境进行交互（比如遇到新的一批数学题目，是否可以做完后实时拿到正确与否的信号），在一些其他场景（如GUI Agent，自动驾驶），允许online需要搭建复杂的simulator；
      2. on-policy强调当前的RL训练数据一定是最新的策略模型实时生成的，在一些时候，会预先采样生成大量的经验数据，然后分mini批次更新，在这种场景下，除了第一个mini-batch是on-policy的，后面的其实是off-policy的；
      3. 所以目前大家用的GRPO/Reinforce/PPO这些一定是online的，但不一定是on-policy（主要看mini-batch num是否大于1）；

强化学习在LLM训练中的作用的思考 建议细看下，不可避免的要与sft 对比。

1. RL方法共享相同的更新原则：即通过对目标函数进行梯度更新来调整模型参数。最简单的形式表示为：$\theta \leftarrow \theta + \alpha\nabla J$。其中 $\theta$代表模型参数，$\alpha$是学习率，$\nabla J$是目标（通常是期望奖励）的梯度。然而，这个梯度的计算方式以及包含哪些项在不同方法之间可能有很大差异。
2. 近端策略优化(PPO)是一种策略梯度方法，它在优化目标的同时，确保策略更新与之前的策略保持”近端”。它通过计算概率比率来实现：$r(\theta) =\frac{\pi_\theta(a \mid s)}{\pi_{\theta_{\text{old}}}(a \mid s)}$，这个比率然后乘以优势估计（通常使用广义优势估计或GAE计算），并应用裁剪操作以防止更新过于偏离旧策略。由此对精心设计的目标进行更新，使得策略变化较大时提供稳定性。
3. 人类反馈的强化学习（RLHF）就是在PPO方法的基础上集成了人类偏好数据的一种方法。首先使用人类评注者提供的成对的比较或评分来训练奖励模型。随后的RL阶段使用这个奖励信号来优化模型，通常将其与PPO的技术如裁剪和KL散度惩罚结合起来，以确保渐进的更新。
4. DeepSeek-R1的GRPO进一步修改了这一思想，消除了对之前PPO单独价值函数的使用。不依赖于状态价值的外部估计，而是就每个提示词生成一组回复，标准化得到的奖励分之后来计算群体相对优势，简化了架构并减少了计算开销，同时仍能捕获组内回复的差异性。

浅谈 RL 里面的 KL 散度个人认为，RL与SFT的区别在于，SFT是token level的0/1奖励，RL是句子level的离散奖励。当然，RL也可以往过程奖励（PRM）或者规则奖励（rule-based）去走。往过程奖励走，无非是引入一个sub-sentence level的监督信号，介于整句（或者说答案）与单个词之间的监督信息。往规则走，是希望整体系统不要被Reward Model所束缚，如果数据质量足够高+基座足够优秀，那么就不需要花里胡哨的reward形式，直接使用rule-based reward就行。这里的reward大多是（-1、0.2、1）这种三段式设计，本质上和SFT的0/1是差不多的。如果我们对（-1, 0.2, 1）做一次softmax，那么就变成了（0.08, 0.26, 0.64）。从某个视角来说，也算是one-hot label的平滑形式。大家都喜欢说，RL是泛化的，SFT是记忆的。我觉得，之所以造成这种现象，是因为RL学的比较难，所以聚焦于方法论，而SFT学的比较简单，那么就容易掉入过拟合陷阱，也就是SFT记住但无泛化。正是因为RL学的比较难，那么RL的acc涨的是比较慢的，好处但是就是，真的往解题的技巧上学。