70B FP16 模型：
  权重：70 × 2 = 140 GB
  TP=4 时，每张卡存 35 GB
  KV Cache（batch=32, seq=4096）：每张卡 ~8 GB
  每张卡总计：~43 GB ← 远低于 80 GB，可行

如果 TP=2：
  每卡权重 70 GB + KV Cache ~16 GB = ~86 GB
  → OOM，不行

vllm serve Qwen/Qwen2.5-72B-Instruct \
  --tensor-parallel-size 4 \
  --quantization fp8 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

# 查看 4 张 GPU 的显存使用
nvidia-smi
# 应该 4 张卡的显存占用基本相同

# 测试推理
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Qwen/Qwen2.5-72B-Instruct", "messages": [{"role": "user", "content": "你好"}], "max_tokens": 100}'