从预训练到对齐，理解 LLM 是如何被训练出来的。这对推理部署有直接影响。

前置知识

建议先阅读 Transformer 架构概述 和 Attention 机制深入 。

训练全流程概览

整个流程的计算成本递增：

第一阶段：预训练（Pre-training）

目标

在海量无标签文本上训练模型，学习语言的统计规律和世界知识。

训练目标：Next Token Prediction

训练数据构成

数据处理流水线

训练基础设施

训练稳定性挑战

对部署的影响

第二阶段：监督微调（SFT）

目标

让模型学会遵循指令，从"续写文本"变成"回答问题"。

训练数据格式

{
  "messages": [
    {"role": "system", "content": "你是一个有帮助的助手。"},
    {"role": "user", "content": "解释一下什么是 Attention？"},
    {"role": "assistant", "content": "Attention 机制允许模型..."}
  ]
}

SFT 训练细节

常见的指令数据类型

第三阶段：对齐（Alignment）

为什么需要对齐

方法一：RLHF（Reinforcement Learning from Human Feedback）

RLHF 的三阶段流程：

1. SFT ：用高质量指令数据微调基座模型
2. 训练 Reward Model ：
   • 收集同一 prompt 的多个回答
   • 人类标注员排序
   • 训练一个打分模型（Reward Model）
3. PPO 优化 ：
   • 用 Reward Model 给生成结果打分
   • 用 PPO 算法更新策略，最大化 reward
   • 加上 KL 惩罚，防止偏离 SFT 模型太远

方法二：DPO（Direct Preference Optimization）

DPO 是 RLHF 的简化版本， 不需要单独的 Reward Model 和 PPO ：

DPO 的核心公式：

RLHF vs DPO 对比

部署视角

训练与部署的关系

训练时的选择，直接决定了部署时的优化空间：

模型选型 Checklist

部署前需要确认的模型属性：

• 架构类型（Decoder-only / Encoder-Decoder）
• 参数量和显存需求
• Attention 类型（MHA / GQA / MQA）
• 最大上下文长度
• 词汇表大小
• 训练精度（BF16 / FP16 / FP32）
• 是否经过 RLHF/DPO 对齐
• 许可证（商业可用 / 研究用）

面试视角

Q: "LLM 的训练流程是怎样的？"

满分回答：

1. 预训练 ：海量无标签数据，Next Token Prediction，学习语言和世界知识
2. SFT ：指令数据微调，从"续写"变"对话"
3. 对齐 ：RLHF 或 DPO，让输出符合人类期望

Q: "预训练和微调的学习率有什么区别？"

• 预训练：~2e-4（数据量大，需要较快的学习率）
• SFT：~2e-5（数据量小，微调需要更小的学习率，避免灾难性遗忘）
• 典型比例：SFT 学习率 = 预训练的 1/10 到 1/100

Q: "RLHF 和 DPO 哪个更好？"

• DPO 更简单、更稳定，效果接近 RLHF
• RLHF 上限更高但训练复杂
• 实际中 DPO 是更好的起点，如果需要极致效果再上 RLHF