AI 原理学习笔记（十五）：SFT、RLHF、DPO 与高质量训练数据

1. “训练方法”有几条不同的分类轴

先问训练要达到什么目标，再问怎样更新参数：

问题	例子
使用什么监督信号	标准回答、偏好排序、可验证奖励
更新哪些参数	全量、LoRA、其他 PEFT
数据如何获得	人工标注、业务反馈、合成后审核
在什么基础上训练	从零、预训练后、指令模型后继续适配

因此“SFT 还是 LoRA”不是同一层面的二选一。

2. SFT：用期望回答教模型

SFT，Supervised Fine-Tuning，即监督微调。每条样本包含输入和期望输出：

{
  "instruction": "根据资料回答问题，信息不足时列出缺失条件",
  "context": "教学制度：具体天数由累计工作年限决定",
  "question": "入职两年可以休几天",
  "answer": "还需要累计工作年限及对应天数条款，不能仅凭入职两年确定。"
}

训练使模型提高期望回答中 Token 的条件概率。它学习的既可能是内容，也可能是格式、语气和对不足信息的处理方式。

如果数据里所有问题都有完整答案，模型可能没有学到如何诚实拒答。如果把错误制度当标准答案，训练会强化错误。

3. 偏好数据：两个回答哪个更合适

很多任务没有唯一标准文字，但可以比较：

问题：资料没有写明年假天数，应该怎么答？
回答 A：你可以休 15 天。
回答 B：资料不足，需确认累计工作年限及相应条款。
偏好：B 优于 A。
原因：B 没有编造缺失事实，指出了下一步需要什么。

偏好可以包括正确性、证据、清晰度、格式、安全等维度。标注标准不清时，不同人会把“更长”“更客气”“更像专家”误当成“更正确”。

需要写出标注规则，设置争议处理与抽样复核，并检查不同场景、语言、人群的覆盖。

4. 常见 RLHF 流程

RLHF，Reinforcement Learning from Human Feedback，表示利用人类反馈进行强化学习的一类思路。

常见教学流程是：

先有能响应任务的模型，例如经过 SFT 的模型。
收集同一问题的多个回答及人类偏好。
训练奖励模型，对回答给出偏好分数。
用强化学习优化策略模型，同时用相应约束避免偏离过大。

PPO 是曾被广泛用于这类流程的一种算法，但 RLHF 不等于只能使用 PPO，也不等于所有奖励都一定来自人。

PPO 全称 Proximal Policy Optimization，可先理解为“在提高奖励的同时，限制每次策略变化不要过猛”的一类策略优化方法。这里的策略就是模型在给定输入下选择输出的分布，奖励则是用来评价输出的反馈信号。

奖励模型是代理评分，不是真理。若奖励器偏爱长答案，策略可能学会多写；若评分规则有漏洞，模型可能提高奖励却没有改善真正目标，这类现象通常叫 reward hacking。

5. DPO：直接使用偏好对

DPO，Direct Preference Optimization，利用选中与未选中回答的相对概率直接训练，不需要按上述流程单独运行奖励模型与在线强化学习环节。

一个常见形式是：

L_{\mathrm{DPO}}= -\log\sigma\left( \beta\left[ \log\frac{\pi_\theta(y^+\mid x)}{\pi_{\mathrm{ref}}(y^+\mid x)} - \log\frac{\pi_\theta(y^-\mid x)}{\pi_{\mathrm{ref}}(y^-\mid x)} \right]\right)

先不要被符号吓住：

$x$ 是问题与上下文。
$y^+$ 是较受偏好的回答， $y^-$ 是另一回答。
$\pi_\theta$ 是要训练的模型。
$\pi_{\mathrm{ref}}$ 是参考模型。
$\beta$ 控制目标中的尺度，不能直接把数值当作效果大小。
$\sigma$ 是 sigmoid。

直觉是：相对于参考模型，提高偏好回答相对另一回答的倾向。它使用整段回答的概率信息，不是把两段文字简单做关键词比较。方法来源见 DPO 论文。

DPO 流程较简洁，不表示任何偏好数据都有效，也不保证一定优于所有其他对齐方法。

6. 合成数据怎样才有学习价值

让强模型生成训练样本可以节省初稿成本，但还要检查：题目是否有代表性，答案是否真实，是否重复、泄漏或包含不该使用的信息。

模型生成答案再由同一个模型打分，可能把共同错误放大。可以加入规则校验、独立来源核验、不同评审与人工抽样。

“老师更强，所以学生一定更强”不成立。学生容量、训练方法、数据覆盖与分布都影响迁移；只能通过独立测试验证。

知识蒸馏是让学生学习教师输出、分布或中间信息的一类方法。用教师生成标准答案再 SFT 是一种常见工程路径，但并非蒸馏的唯一形式。

7. 数据集该保留哪些字段

保留样本来源、授权范围、任务类型、输入、上下文、答案或偏好、标注规则版本、审核状态与时间。

划分时防止同一原始问题的改写分别落在训练和测试。去重不仅看字面完全相同，也要注意高度相似与来源相同。

训练资料可以包含“应该拒答”“需要追问”“工具失败”“资料冲突”等样本。上线遇到的情况越多，评测越不该只包含干净成功样本。

8. 怎么验证训练是真的改善

保留三组检查：

目标任务：格式、事实、业务指标是否改善。
通用能力：原本会的内容是否退化。
边界能力：缺资料、权限、攻击、拒答是否仍正确。

用相同基线、相同测试样本比较，记录成本、延迟和训练配置。训练损失只衡量对训练目标的拟合，不能代替这些检查。

复习卡片与自测

SFT 使用期望答案，偏好训练比较回答。
常见 RLHF 包含奖励模型与策略优化，DPO 直接用偏好对构造目标。
奖励是代理信号，可能被优化出漏洞。
合成数据仍需要授权、去重、审核和独立评估。

1. 标注者觉得 A 更流畅，就一定选 A 吗？

参考答案

要按任务规则判断。若 A 编造事实而 B 有证据且说明不足，应优先事实与证据，不能只看文风。

2. DPO 是否不需要参考模型这个概念？

参考答案

经典 DPO 目标包含相对于参考策略的概率比值。具体实现与变体可能调整流程，但不能因此说经典公式没有参考约束。

3. 为什么微调后还要测原本会的任务？

参考答案

模型可能发生能力退化或行为偏移；领域收益与通用损失要一起评估。

原文定位

依据：原资料 7.3、7.5、7.7—7.8、13.6。