核心公式：
  L(N) = (N_c / N)^α

其中：
  L = Loss（交叉熵损失）
  N = 模型参数量
  N_c = 常数（约 430）
  α ≈ 0.076

结论：
  - Loss 随参数量的增加而降低
  - 但降低速度很慢（幂指数只有 0.076）
  - 模型大小增加 1000x，Loss 仅降低约 30%

核心公式：
  L(N, D) = E + A/N^α + B/D^β

其中：
  N = 参数量
  D = 训练 token 数
  E = 不可约误差（模型能达到的最低 Loss）
  A, B = 常数
  α ≈ 0.34, β ≈ 0.28

关键结论：
  - 最优模型大小 ∝ 训练数据量^0.73
  - 数据量每增加 4x，模型大小应增加约 3x
  - 计算预算固定时，应该用更小的模型 + 更多的数据

GPT-3 的配置：
  175B 参数 × 300B tokens = 不均衡

Chinchilla 建议：
  175B 参数应该配 ~7T tokens

Llama 1 的设计：
  65B 参数 × 1.4T tokens（更接近 Chinchilla 最优）

将计算量 C 纳入公式：

  L(C) = (C_c / C)^γ

其中 C = 总计算量（FLOPs），γ ≈ 0.047

结论：
  - 计算量增加 100x → Loss 降低约 15%
  - 这意味着单纯堆算力有回报但递减

训练总 FLOPs ≈ 6 × N × D

其中：
  N = 参数量
  D = 训练 token 数
  6 的来源：前向传播 2× + 反向传播 4×

给定：
  模型参数 N = 70B
  训练 token D = 15T
  训练时间 = 60 天

计算：
  总 FLOPs = 6 × 70×10^9 × 15×10^12 = 6.3×10^24
  
  H100 理论峰值 = 989 TFLOPs（BF16 Tensor Core）
  实际利用率 ≈ 40% → 有效算力 ≈ 396 TFLOPs
  
  所需 GPU 数 = 6.3×10^24 / (396×10^12 × 60×86400)
              ≈ 3062 卡

结论：70B 模型在 60 天内训练完需要约 3000 张 H100。

不只是训练，推理也有 Scaling Law：

  加速比 = 1 + γ × 接受率

见：[投机解码](../04-inference-optimization/speculative-decoding.md)

推理成本（$/1K tokens）≈ 模型参数量 × 单价

| 模型 | 成本/1K tokens | 月度成本（100K req/day） |
|------|---------------|------------------------|
| 7B | ~$0.0003 | ~$900 |
| 70B | ~$0.003 | ~$9,000 |
| 405B | ~$0.017 | ~$51,000 |

结论：模型越大，成本越高。但大模型的效果不一定线性增长。

预训练 Scaling Law 已被广泛接受
后训练（SFT + RLHF）的 Scaling Law 仍在研究中

已知结论：
  1. SFT 数据质量 > 数据数量
     - 1K 条高质量指令 ≈ 50K 条低质量指令
  2. RLHF 的 reward 标注数据需要 ~10K-100K 条偏好对
  3. 对齐的效果有上限：不能突破预训练的知识边界

对齐后的模型在某些基准上性能可能下降：

  GPT-3 → InstructGPT：
    数学推理能力下降 ~5%
    代码生成能力下降 ~3%

原因：
  RLHF 的 KL 惩罚限制了模型的表达空间
  对齐数据可能覆盖部分预训练知识

解决方向：
  - 使用更弱的 KL 约束
  - 在 SFT 阶段保留预训练知识的多样性

Scaling Law 预测的是平滑的性能提升
但实际中某些能力在特定规模突然出现：

  7B 模型：不会 Chain-of-Thought 推理
  70B 模型：突然会了 CoT

这种"涌现"无法用简单的幂律公式预测。

Scaling Law 主要针对参数量和数据量
上下文窗口的扩展有不同的规律：

  窗口长度增加 → KV Cache 线性增长
  但模型需要额外训练才能利用长上下文
  
  结论：单纯增加 max_position_embeddings 不够
  需要长上下文微调（如 YaRN 方法）

高质量训练数据正在耗尽：

  互联网文本：~10^13 tokens（已接近用尽）
  书籍：~10^11 tokens
  学术论文：~10^10 tokens

解决方向：
  - 合成数据（Synthetic Data）
  - 课程学习（Curriculum Learning）
  - 数据质量筛选（Data Curation）

FLOPs = 6 × 70B × 15T ≈ 6.3 × 10^24
H100 有效算力 ≈ 400 TFLOPs（40% MFU）
需要约 3000 张 H100 训练 60 天