理解主流推理引擎的原理和优化手段，掌握量化技术，让模型跑得更快、更省资源。

为什么这个模块对 FDE 至关重要

这是 FDE 的 核心技能区 。很多候选人能解释 Transformer 的公式，但回答不了：

• "vLLM 的 PagedAttention 比传统 KV Cache 好在哪里？为什么能提升 4 倍吞吐？"
• "AWQ 和 GPTQ 的 INT4 量化，哪个更适合生产环境？为什么？"
• "H100 上 FP8 推理比 FP16 快多少？精度损失有多大？"
• "投机解码的加速倍数如何计算？什么场景下最有效？"

推理优化本质上是在和三个瓶颈博弈：显存（KV Cache）、算力（Tensor Core 利用率）、通信（多卡 AllReduce）。

推理引擎架构全景

量化技术全景

70B 模型在不同精度下的显存需求

关键洞察：量化不只是省显存，更是让 70B 模型从"需要多卡"变成"单卡可跑"，从根本上消除了 TP 的通信开销。

Prefill vs Decode 的优化对应关系

硬件与量化方案匹配

学习路径

顺序	文档	核心内容	面试考点
1	推理引擎概述	推理指标、引擎对比、选型指南	如何选择推理引擎
2	vLLM 深度解读	PagedAttention、Continuous Batching	vLLM 的核心创新是什么
3	TensorRT-LLM 解读	NVIDIA 原生优化、推理加速	TRT-LLM vs vLLM
4	SGLang 解读	RadixAttention、结构化生成	什么时候用 SGLang
5	量化基础	PTQ、QAT、量化格式	量化对精度的影响
6	量化方案详解	SmoothQuant、AWQ、GPTQ	AWQ 的原理和优势
7	KV Cache 量化	量化 KV Cache 降低显存	KV Cache 量化的精度损失
8	投机解码	小模型辅助大模型生成	投机解码的加速原理
9	FP8 推理	FP8 格式和混合精度推理	FP8 vs FP16 的精度差异
10	前沿技术	EAGLE-3、FP4、推理模型优化	2026 推理前沿趋势

模块知识结构图

前置知识

建议先完成 GPU 基础 了解 GPU 的计算特性。