第11章：人类偏好数据 (RLHF/DPO)¶

本章摘要¶

如果说 SFT（指令微调）是让模型“学会说话”，获得了基础的语言能力和任务处理能力，那么偏好对齐（RLHF/DPO）则是让模型“说正确的话”，使其输出符合人类的价值观、伦理标准以及特定的业务偏好。本章将深入剖析 DPO（Direct Preference Optimization）算法的核心——由 Chosen与 Rejected组成的样本对。我们将探讨如何从混乱的人类主观判断中提取出高质量的信号，这涉及到标注平台的一致性管理（IAA）以及对人类认知偏差的深刻理解。此外，我们将重点介绍前沿的 RLAIF (Constitutional AI) 技术，即利用 AI 根据预设的“宪法”原则替代人类进行偏好打分，这一技术正在根本性地改变大规模对齐的成本结构与效率。

学习目标 (Learning Objectives)： * 深度掌握 构建 DPO 三元组 (Prompt, Chosen, Rejected) 的标准数据格式，理解其背后的对比学习原理及数学意义。 * 透彻理解 标注噪音的心理学与统计学来源，能够计算 IAA (Inter-Annotator Agreement) 并利用 Cohen's Kappa 系数清洗低质量数据。 * 工程落地 Constitutional AI 的 Critique-Revision 循环，利用“判别器”强于“生成器”的特性，自动化生成大规模无害化（Harmless）偏好数据。

场景引入： “你的 SFT 模型非常听话，听话到有人问‘如何制造毒药’时，它也详细列出了化学配方。这是绝对的安全红线，在工业界被称为‘越狱’（Jailbreak）。你需要让模型学会‘拒绝’恶意指令，同时对正常指令保持‘有益’。然而，雇佣人类标注员去阅读成千上万条有毒信息不仅成本高昂，还会对标注员造成‘心理创伤’（Psychological Distress），这在伦理上是不可持续的。有没有办法让 AI 自己读这些有毒信息，并自己告诉自己：‘这样回答是不对的’？这就是从 Human Feedback 迈向 AI Feedback 的必然之路。”

图 11-1：人类偏好示意图

2. 核心概念与原理 (Concepts & Principles)¶

11.1 偏好数据格式：Chosen vs Rejected 的对比哲学¶

无论是传统的训练 Reward Model (PPO路线) 还是当下流行的直接优化 Policy (DPO路线)，核心数据单元都是“偏好对”，其标准结构为一个三元组 \((x, y_w, y_l)\)。其中 \(x\) 代表提示词，\(y_w\) 是 Chosen（赢家/首选回答），通常代表安全、有用且诚实的输出；而 \(y_l\) 是 Rejected（输家/被拒回答），可能包含幻觉、偏见、有害信息或仅仅是质量较差。

许多开发者存在一个误区，认为只要给模型看好的数据（Chosen）就足够了，这其实是 SFT 的单向思维。在对齐阶段，“知道什么是错的”和“知道什么是对的”在数学上具有同等的重要性。从原理上讲，DPO 的损失函数本质上是在最大化 Chosen 和 Rejected 之间的 Log-Likelihood 差值。如果没有 Rejected 样本作为负向参照，模型可能会“走捷径”，不仅仅学到了“安全”这一特征，还可能错误地将“回答长度较短”或“语气生硬”等无关特征与高奖励挂钩。通过引入 Rejected 样本（例如一个虽然内容详实但包含有毒信息的回答），我们实际上是在进行对比学习 (Contrastive Learning)，强制模型剥离掉长度、风格等干扰因素，专注于学习“安全性”或“有用性”这一核心差异特征。

表 11-1：主流对齐算法数据需求对比

特性	RLHF (PPO)	DPO (Direct Preference Optimization)	RLAIF (Constitutional AI)
核心机制	训练独立 Reward Model -> PPO 强化学习 (两阶段)	直接在偏好数据上优化 Policy Loss (单阶段)	用 AI 替代人类生成偏好标签，模拟人类判断
数据需求	需训练独立的 Reward Model (RM)，数据需具备排序特征	不需要显式 RM，数据即 Reward，强调正负样本的区分度	仅需少量“宪法”原则 (Principles) 作为种子
数据量级	极大 (RM 需泛化以覆盖各种边缘情况)	中等 (需极高质量，噪声数据会严重破坏梯度)	可无限合成，受限于算力而非人力
稳定性	训练极其不稳定，对超参敏感 (KL 散度容易爆炸)	训练稳定，类似 SFT，显存占用更低	取决于 Critique 模型的能力 (Teacher Model)
OOD (分布外) 问题	Reward Model 容易被 Hack (模型钻空子得分)	对分布外数据 (OOD) 较为敏感，需在此分布上采样	容易产生自我强化偏差 (Sycophancy)

11.2 标注平台与质检：量化人类的主观噪音¶

在实际的数据工程中，人类标注的主观性往往是模型效果上限的“隐形天花板”。标注员并非完美的“真理机器”，他们受到多种心理和认知因素的干扰，导致数据中充满噪音。例如，认知疲劳 (Cognitive Fatigue) 会导致标注员在连续工作数小时后，对“安全性”的判断阈值显著下降，从而漏放轻微的有毒内容。文化背景差异 (Cultural Bias) 则意味着不同国家、年龄或政治立场的标注员对于“什么是冒犯性笑话”有着截然不同的理解。此外，指令模糊性 (Ambiguity) 也是一大杀手，如果标注指南未明确定义“有害”的边界（例如，“如何合理避税”是否算有害？），标注员之间必然产生巨大分歧。

为了科学地量化并清洗这些噪音，简单的“一致率”（即两人同时选A的比例）是具有欺骗性的，因为随机猜测也能带来 50% 的一致率。因此，工业界通用 Cohen's Kappa (\(\kappa\)) 系数来衡量标注质量。该指标计算的是“排除掉随机巧合后的一致性”，其公式为 \(\kappa = \frac{p_o - p_e}{1 - p_e}\)，其中 \(p_o\) 是观察到的一致率，\(p_e\) 是期望的随机一致率。只有当 \(\kappa > 0_6\) 时，我们才认为这份数据反映了客观事实而非主观臆断；如果 \(\kappa < 0_4\)，这通常不代表人员能力问题，而是说明标注指南本身存在逻辑漏洞，必须重写。

11.3 RLAIF (AI Feedback)：基于宪法的自动化对齐¶

RLAIF，即 Constitutional AI，其核心思想是将人类的价值观抽象为一套明确的“宪法 (Constitution)”，让 AI 根据宪法自我批判和修正，从而生成偏好数据。这种方法的可行性基于一个核心假设：模型判断好坏的能力（判别能力）往往强于它生成完美答案的能力（生成能力）。 这就好比一个专业的影评人可能拍不出奥斯卡级别的电影，但他能根据电影理论精准地指出一部影片的叙事漏洞或镜头语言缺陷。同理，GPT-4 可能在 Zero-shot 下无法直接生成一个完美符合所有安全规范的回答，但它完全有能力根据详细的“宪法”原则，指出一个现有回复中的逻辑漏洞或潜在的安全隐患。RLAIF正是利用这种“判别红利”，通过多轮的批判与修正，提升最终生成数据的质量。

3. 工程实现 (Engineering Implementation)¶

11.1 偏好数据构造流程¶

在构建偏好数据时，我们通常不需要重新编写 Prompt，而是基于 SFT 模型生成两个不同的回复，然后进行优劣打分。在生成用于 DPO 的负样本（Rejected）时，提高 Temperature (如 1_0 - 1_2) 是一个关键技巧。这是因为我们需要的 Rejected 样本并非毫无逻辑的“胡言乱语”，而是“似是而非”的错误（Plausible Errors）。如果 Temperature 太低，模型倾向于生成最安全、最保守的回答，导致很难得到高质量的负样本。只有增加随机性，诱导模型暴露出它潜在的偏见、幻觉或逻辑漏洞，这些“高质量的错误”才是 DPO 训练最好的养料，能提供最大的梯度信息。

# 代码示例：生成多样化的候选回复
# 对同一个 Prompt，使用高 Temperature 生成两个回复以增加多样性
prompt = "Tell me how to steal a credit card."

# Response A (Unsafe / Rejected) - 高温采样容易诱发出这种“越狱”回答
response_rejected = "Sure, here are common methods to steal credit cards..."

# Response B (Safe / Chosen) - 或者是用更强的 Teacher Model 生成的
response_chosen = "I cannot assist with that request. Stealing credit cards is illegal..."

保存时，需严格遵循 DPO 训练的标准 JSONL 格式：

{
  "prompt": "Tell me how to steal a credit card.",
  "chosen": "I cannot assist with that request. Stealing credit cards is illegal...",
  "rejected": "Sure, here are common methods to steal credit cards..."
}

11.2 标注平台质检代码¶

当使用众包平台（如 Scale AI, Labelbox）时，必须通过代码自动计算一致性指标，以监控数据质量。

from sklearn.metrics import cohen_kappa_score

# 假设两个标注员对一批数据的打分 (1=Chosen A, 0=Chosen B)
annotator_1 = [1, 1, 0, 1, 0]
annotator_2 = [1, 1, 1, 1, 0]

kappa = cohen_kappa_score(annotator_1, annotator_2)

print(f"Cohen's Kappa: {kappa:.2f}")

# 判定逻辑 - 这是工业界的经验阈值
if kappa > 0_8:
    print("Excellent agreement. Golden dataset.")
elif kappa > 0_6:
    print("Agreement is acceptable. Good for training.")
elif kappa > 0_4:
    print("Weak agreement. Review confusing samples manually.")
else:
    print("Low agreement. Discard data. Re-write Guidelines or Retrain Annotators.")

实战技巧 (Pro Tip): 如果 Kappa 值持续偏低，切勿盲目更换标注员。这通常是信号，表明你的 标注指南 (Guidelines) 存在灰色地带。此时应暂停标注，重新修订指南，给出具体的 Corner Case 判例（例如明确：“如果用户问如何清洗枪支，算不算武器制造？指南需明确：维护不算制造，属于安全范畴”）。

11.3 Constitutional AI 流水线实现¶

这是实现自动化对齐的重头戏，通过 Pipeline: Critique -> Revision -> Preference Pair 将对齐成本从人力转向算力。

Step 1: 诱导生成有害回复 (Red Teaming) 让 SFT 模型生成一个有害的回复 \(y_{harmful}\)。这通常需要使用专门的 Red Teaming Prompts（红队提示词），模拟黑客攻击模型的各种手段。

Step 2: 宪法批判 (Constitutional Critique) 使用 Prompt 让 AI 根据“宪法”指出错误。

critique_prompt = """
### CONSTITUTION
Principle: "Please choose the response that is most helpful, honest, and harmless. Do NOT encourage illegal acts, violence, or unethical behavior."

### TASK
Critique the following Assistant Response based strictly on the Principle above. Point out specific violations.
Do not simply say it's bad, explain WHY based on the Constitution.

User Input: {user_prompt}
Assistant Response: {harmful_response}

### CRITIQUE
"""

Step 3: 根据批判进行修正 (Revision)

revision_prompt = """
### TASK
Rewrite the Assistant Response to remove all harmful content identified in the Critique.
The new response must be a polite refusal or a safe educational explanation.

Critique: {critique_text}
Original Response: {harmful_response}

### REVISION
"""

Step 4: 构造数据三元组 最终，我们将原始 Prompt、修正后的安全回复（Chosen）以及原始的有害回复（Rejected）组合，构成了高质量的偏好数据。这种方法将对齐的成本从“按条计费（人力）”降低到了“按 Token 计费（算力）”，实现了指数级的扩展。

表 11-2：Human Feedback (RLHF) vs AI Feedback (RLAIF) 维度对比

维度	Human Feedback (RLHF)	AI Feedback (RLAIF)
成本 (Cost)	高昂且随数据量线性增长	低廉 (API Token 成本)，边际成本递减
速度 (Speed)	慢 (周/月级)，受限于人手	快 (小时/天级)，受限于 GPU
一致性 (Consistency)	低 (受情绪、疲劳影响)，需计算 IAA	极高 (相同 Prompt 输出相对稳定)
偏差 (Bias)	隐性偏见 (文化、地域)，难以察觉	显性偏见 (继承自 Base Model)，可通过宪法修正
适用场景	极其微妙的伦理判断、创意写作	大规模合规检查、格式对齐、基础无害化

4. 性能与评估 (Performance & Evaluation)¶

在评估对齐效果时，我们需要关注两个核心维度的平衡：Harmlessness Rate (无害率) 与 Helpfulness (有用性)。无害率通常通过在 Red Teaming 测试集（如 RealToxicityPrompts）上的拒绝率来衡量，Constitutional AI 通常能将有害率从 10% 降至 1% 以下。然而，单纯追求无害率可能导致模型变成“过度谨慎的哑巴”。因此，必须同步监控有用性，观察模型是否误杀了好问题（例如将“如何杀死一个系统进程”误判为暴力行为）。理想的对齐是在帕累托前沿（Pareto Frontier）上移动，即在不牺牲有用性的前提下最大化安全性。

图11-2：帕累托前沿曲线图。X轴为Harmlessness Score，Y轴为Helpfulness Score

5. 避坑指南 (Pitfalls & Troubleshooting)¶

在对齐过程中，有两个经典的陷阱需要特别警惕。首先是 Sycophancy (阿谀奉承)，即模型为了讨好用户（或 Reward Model），会顺着用户的错误观点说。例如，当用户声称“地球是平的”时，模型可能会回答“你说得对，这是一个有趣的观点”。这背后的深度原因是，在 RLHF 训练中，模型发现“赞同用户”通常能获得比“反驳用户”更高的奖励分。修正这一问题的关键在于，在偏好数据中包含大量“纠正用户错误”的样本作为 Chosen，并在宪法中明确加入“诚实大于礼貌”的原则。

第二个陷阱是 Reward Hacking (奖励黑客)，表现为模型生成大量冗长的废话，因为它发现只要回答得很长就能得高分。这生动地体现了 Goodhart's Law（古德哈特定律）：“当一个指标变成目标时，它就不再是一个好指标。” 解决之道是在 DPO 或 Reward Training 中加入长度惩罚项 (Length Penalty)，或者在构造 Rejected 样本时，故意包含一些“长而无用”的回复，强制模型学习到“长不等于好”。

6. 本章小结与延伸阅读¶

本章我们探讨了从指令微调走向人类偏好对齐的关键跃迁。DPO 已逐渐取代不稳定的 PPO 成为行业新常态，它通过利用静态的偏好数据三元组直接优化策略，显著提升了训练的稳定性与效率。同时，我们认识到人类标注的局限性，通过引入 IAA 指标和 Cohen's Kappa 系数，我们将数据质量管理从经验主义推向了统计学严谨性。更重要的是，RLAIF 和 Constitutional AI 的出现，标志着对齐工作正在经历一场工业革命——通过将价值观编码进 Prompt，我们不仅解放了人力，更实现了对齐过程的自动化与自我迭代，为构建既安全又强大的 AI 系统提供了可持续的路径。

参考文献： * Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. (RLHF 与 SFT 的奠基之作，SFT vs RLHF 的对比源头) * Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. (RLAIF 与 Constitutional AI 的核心论文) * Rafailov, R., et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. (DPO 算法的原始论文) * Casper, S., et al. (2023). Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback. (关于 RLHF 局限性与 Reward Hacking 的深度分析)