标准DPO的问题：微弱信号与不稳定收敛
直接偏好优化已成为将大语言模型和大视觉语言模型与人类或AI生成偏好对齐的基石方法。其主要吸引力在于其简洁性，因为它绕过了对显式奖励模型的需求，而这是传统基于人类反馈的强化学习中的一个复杂组件。DPO直接从偏好对中学习，每个偏好对包含针对给定输入 的一个“被选中”响应 和一个“被拒绝”响应 。
然而，DPO最稳定且应用最广泛的变体，即所谓的“自进化”范式，存在一个根本性局限。在此范式中，被选中和被拒绝的响应均从正在被优化的同一策略 中采样。虽然这种同策略方法确保了训练稳定性，但它引发了一个关键问题：生成的响应 和 通常高度相似。它们往往具有相同的风格偏见甚至相同的事实错误，仅在措辞或表达上存在细微差异。
这种高度相似性导致学习信号微弱。DPO的目标是最大化偏好边际，其定义为被选中响应与被拒绝响应之间的对数概率差：
当 和 几乎相同时，该边际 趋近于零。因此，用于优化的梯度较小且方差较大，导致优化地形平坦。这一点通过观察到的偏好响应与被拒绝响应分布之间较小的KL散度得到了经验验证。这种微弱的偏好信号导致收敛缓慢且不稳定，严重阻碍了模型有效学习复杂偏好的能力，例如在输出中避免事实性幻觉。
引入RPO：通过提示引导的反思增强对齐效果
为克服标准DPO的局限，研究人员引入了反思偏好优化，这是一种新颖的框架，能在保持同策略学习稳定性的同时增强偏好信号。RPO的核心创新在于一个“提示引导的反思”机制，它能系统性地增大被选中响应与被拒绝响应之间的对比度。
该过程在论文的Figure 2中有所说明，其工作流程如下：
- 初始生成：对于给定输入 ，基础策略 生成一个初始响应。该响应可能包含诸如幻觉之类的错误，并成为“被拒绝”样本 。
- 批判与反思：一个外部、强大的批判模型分析配对 ，以识别其主要缺陷。批判模型不会重写响应，而是生成一个简洁的、局部化的反思提示。该提示起到一阶修正的作用，引导模型的关注点。
- 反思生成：随后使用同一个基础策略 ，在原始输入 和新提示 的共同条件下，生成一个新的“反思”响应。这个修正后的输出成为“被选中”样本 。
这种方法巧妙地规避了同策略和异策略方法的陷阱。通过使用提示而非外部生成的修正，被选中响应 仍然是“同策略”的，因为它依然是模型 自身生成分布的产物。如Figure 1所示，这使得RPO能够产生比标准DPO更接近目标分布的样本。因此，RPO增强了偏好对的可区分性，并生成了更强的对齐信号，同时避免了与异策略数据相关的分布不稳定性。
RPO如何生成更强、同策略的偏好对
RPO的优势在于其系统性地构建高对比度、同策略偏好对的方法。Figure 3概述的数据生成流程确保每个偏好对都能为模型提供清晰而有效的学习信号。
四步流程
- 生成基线响应：流程始于待对齐的模型 为给定的多模态输入 生成响应 。此初始尝试作为基线，由于LLM固有的易错性，通常包含事实错误或幻觉。该响应被指定为被拒绝样本 。
- 识别缺陷并创建提示：接着，一个强大的教师模型将 与真实值或高质量参考进行比较。它识别出特定的幻觉片段，并生成一个简洁的反思提示 。关键之处在于，提示并非完整的修正答案，而是一个指出错误的具体建议。教师模型还可以分配一个严重性权重 来量化幻觉的程度。
- 重新生成反思响应：再次使用原始策略 ，但此次输入中附加了提示 。它生成一个新的反思响应 。在提示的引导下，该响应极有可能修正 中的特定错误，同时保留策略 的风格特征。
- 构建训练样本：最终的偏好对形成为元组 。这种结构化数据包含了模型自我生成的弱点及其自身在提示引导下的修正。
该流程确保了最终产生的偏好对既具有对比性又是完全同策略的。由于有缺陷的响应和修正后的响应都源于同一个底层策略 ，模型得以以可控的方式从自身错误中学习，从而避免了使用异策略或人工编写修正时可能出现的训练不稳定性和梯度退化问题。
理论收益：通过反思增大偏好边际
RPO不仅仅是一个经验技巧，它基于坚实的理论框架，该框架解释了为何提示引导的反思能带来更有效的学习。关键在于其能够系统性地放大偏好边际。
反思响应的对数概率可以近似为原始对数概率与一个“反思诱导的偏差项” 之和：
研究表明，该偏差项的期望值 大于零。这是直观的：一个有用的提示使得正确响应出现的概率更高。这种正偏差直接转化为RPO配对相较于标准DPO配对期望偏好边际的增加：
本质上，反思系统地将期望边际从零推离，从而创造出更强、更稳定的学习信号。从优化角度看，RPO梯度 可视为标准DPO梯度的一个扰动版本。这种由提示诱导的扰动放大了信息丰富的梯度分量，并帮助模型更快收敛。
此外，基础分布与反思分布之间的KL散度 充当了自适应边际正则器。它自然地扩大了有效偏好差距，迫使模型在被拒绝响应和被选中响应之间做出更明确的选择，同时确保优化过程保持良态。
实证证明：RPO在减少幻觉方面的卓越性能
RPO的理论优势通过在LVLM广泛使用的幻觉基准上进行的大量实验得到了令人信服的验证。结果表明，RPO不仅优于现有方法，而且实现效率显著。
更强的偏好信号
首个测试是衡量偏好对的“对比度”。如Figure 4和Table 1所示，与自进化DPO等其他同策略方法相比，RPO持续生成的在被选中响应与被拒绝响应之间具有显著更高KL散度的配对。这直接证实了RPO的反思机制产生了更清晰、信息量更大的监督信号，促进了更稳定、更高效的优化。
领先的性能表现
在AMBER、MMHalBench、Object HalBench和POPE等基准测试中，RPO表现出卓越的性能。Table 2详细显示，经过RPO训练的LLaVA模型实现了比使用其他各种DPO和基于RLHF的方法训练的模型更低的幻觉率和更好的综合得分。这在7B和13B两种模型规模上均成立，且更大模型显示出更明显的改进，表明能力更强的模型更善于利用反思提示。
更快、更稳定的训练
训练数据的质量直接影响优化动态。Figure 6展示了RPO和标准DPO的训练损失曲线。RPO表现出更快的收敛速度和更低的最终损失值，达到稳定高性能状态所需的优化步数显著减少。这种效率增益是提示引导流程产生高质量、高对比度偏好对的直接结果。Table 3和Table 4中的消融研究进一步证实，RPO框架的每个组件，包括反思机制和额外的损失项，在实现这些结果中都发挥着关键作用。
一种更样本高效的LLM对齐范式
RPO通过解决同策略DPO的核心弱点，建立了一种更稳健、更高效的偏好优化范式。其成功源于一个结合了三个协同组件的统一训练目标：
- 偏好对齐：这是核心的偏好损失，类似于DPO，但它作用于RPO生成的高对比度配对。为了进一步聚焦学习，该损失由幻觉严重性权重 加权。
- 反思蒸馏：这是实现泛化的关键组件。通过最小化模型在有提示和无提示条件下输出之间的KL散度 ，该损失鼓励模型内化在反思过程中学到的推理模式。这种蒸馏使得模型在推理时即使没有提供明确提示，也能生成改进的响应。
- 锚定正则化：为防止模型漂移过远并降低其在正确、高质量响应上的性能，增加了一个锚定项。该项通过确保真实值响应的对数概率保持较高水平来正则化策略，防止灾难性遗忘。
最终目标是这三个损失的加权和：
通过将更强的对齐信号与内化反思知识的机制相结合，RPO实现了更有效、更高效的对齐。总体而言，RPO提出了一种可扩展、自我改进且高度样本高效的框架，在缓解诸如幻觉等复杂问题方面达到了领先性能，为构建更可靠、更值得信赖的LVLM铺平了道路。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
