所有的推理优化最终都要落到 GPU 的物理特性上。不理解 GPU 的架构和显存模型，就无法理解"为什么 decode 是 memory-bound"、"为什么量化能加速"这些核心问题。

为什么这个模块对 FDE 至关重要

很多 FDE 候选人能说出 Transformer 的公式，但回答不了：

• "同样 70B 模型，FP16 和 INT8 推理速度差多少？为什么？"
• "A100 80GB 能放下多少个 batch=32、seq_len=8192 的并发请求？"
• "为什么 TP=4 时，跨 NVLink 的通信开销会影响首 token 延迟？"
• "H100 比 A100 推理快多少？瓶颈在算力还是带宽？"

GPU 是推理的物理载体。一切优化手段——量化、PagedAttention、Continuous Batching、张量并行——本质上都是在和 GPU 的物理特性博弈。

GPU 架构全景图

关键数字（A100 80GB）：

显存层级与性能关系

学习路径

模块知识结构图

前置知识

建议先完成模型是怎么工作的了解模型的计算特征（prefill 是 compute-bound，decode 是 memory-bound）。