三种部署方案（自建 GPU 集群 / 云 GPU 实例 / Serverless API）各有优劣，核心在于找到成本和灵活性的最优平衡。

核心概念：三种方案全景对比

方案 1：Serverless API

代表服务： OpenAI API、Anthropic Claude API、Google Gemini API

适合场景：

• PoC / MVP 阶段快速验证
• 月调用量 < 100 万 tokens（成本可控）
• 非核心业务、非实时场景
• 初创团队（无 GPU 运维能力）

方案 2：云 GPU 实例（IaaS）

代表服务： AWS EC2 p5、GCP A2、Azure NDm H100 v5

适合场景：

• 月调用量 100 万 - 5000 万 tokens
• 需要数据合规（金融、医疗）
• 需要定制化推理框架

方案 3：自建 GPU 集群

代表方案： 购买 GPU 服务器托管在 IDC / 云专线

适合场景：

• 月调用量 > 5000 万 tokens
• 有 GPU 运维团队
• 对数据安全和延迟有严格要求

TCO 分析（3 年总拥有成本）

场景设定

• 70B 模型，持续稳定负载
• 平均 1000 QPS
• 月处理 5 亿 tokens（~5B tokens）

3 年 TCO 对比

详细拆解：

Serverless API 在大规模场景下比自建贵 15-20 倍，但启动成本为零。

盈亏平衡点

自建盈亏平衡点 = 自建启动成本 / (Serverless 单价 - 自建单位成本)

示例：
  自建启动成本 = $50,000（1 台 H100 服务器）
  Serverless 单价 = $0.01/1K tokens
  自建单位成本 = $0.002/1K tokens（含运维摊销）
  盈亏平衡点 = $50,000 / ($0.01 - $0.002) = 6.25B tokens
  即：月处理 > 200M tokens，6 个月回本

各方案优劣势汇总

混合方案推荐

混合方案配置建议：

路由策略：

1. 正常流量 → 自建集群
2. 自建队列深度 > 阈值 → 溢出到云 GPU
3. 云 GPU 也满 → 降级到 Serverless API
4. 流量回落 → 自动缩容云实例

部署视角

迁移路径

阶段 1 (0-3 月):  Serverless API → 快速验证产品
阶段 2 (3-6 月):  Serverless + 云 GPU → 混合，降低核心流量成本
阶段 3 (6-12 月): 自建 + 云弹性 → 大规模成本优化
阶段 4 (12+ 月): 自建为主 + Serverless 降级 → 极致成本

决策树

面试视角

面试官可能问：

1. "什么时候从 API 切换到自建？"

• 当月 API 费用 > $5,000 且持续增长时，开始评估自建
• 核心考量：调用量规模、数据合规要求、延迟要求
• 盈亏平衡：通常月处理 2 亿 tokens 以上自建开始省钱

1. "自建集群的隐式成本有哪些？"

• 硬件采购周期长（GPU 供应紧张时 12+ 周）
• 运维人力成本（至少 1-2 名专职 SRE）
• 硬件故障风险和替换成本
• 网络带宽和跨地域部署复杂性
• 技术债积累（自研 vs 使用成熟服务）

1. "混合方案的流量路由怎么做？"

• 在 API Gateway 层实现基于队列深度的动态路由
• 监控指标：自建队列长度、P99 延迟、GPU 利用率
• 当自建队列 > N 且 P99 > 目标值时，溢出到云
• 回退时逐步切换，避免路由震荡

最佳实践

1. 从 API 开始，数据驱动决策：先用 Serverless 验证，根据实际用量决定是否自建
2. 不要低估运维成本：自建省下的 GPU 费用可能被运维人力抵消
3. 混合方案是最优解：纯自建或纯 API 都不是最佳，70/30 混合性价比最高
4. 保持迁移能力：抽象推理服务接口，确保可以随时切换后端
5. 建立成本监控体系：持续跟踪各层的单 token 成本，确保优化方向正确