从本地推理到线上服务，需要解决高可用、扩缩容、可观测性等一系列工程问题。

为什么这个模块对 FDE 至关重要

"模型跑起来了"和"服务稳定跑了 99.9% 的 SLA"之间有巨大的工程鸿沟。FDE 候选人经常能部署 vLLM，但回答不了：

• "70B INT4 模型部署到 4× A100，冷启动需要多长时间？怎么优化？"
• "GPU 出现 Xid Error 79 (Fallen Off Bus)，从检测到恢复需要几步？多久？"
• "P99 延迟突然从 200ms 飙升到 2s，怎么排查？"
• "Prefill-Decode 分离架构能带来多大收益？什么场景下值得做？"

生产环境部署的核心不是"能跑"，而是"怎么在故障、峰值、升级时不中断地跑"。

生产环境部署架构全景

模型生命周期管理

冷启动 80 秒是自动扩缩容的最大瓶颈。 70B INT4 在 4× A100 上的完整冷启动：10s 镜像拉取 + 15s 初始化 + 5s 主容器启动 + 25s 权重加载 + 15s VRAM 加载 + 5s KV Cache 分配 + 3s 预热 + 2s 就绪探针。

Prefill-Decode 分离架构

P/D 分离效果（Llama-3-70B @ A100×8）

P/D 分离方案对比

可观测性三层体系

GPU 故障自动恢复流程

四级降级策略

学习路径

模块知识结构图

前置知识

建议先完成 用 LLM 构建应用 了解应用层架构。