# 终端 1：监控 GPU
watch -n 1 nvidia-smi

# 终端 2：启动推理服务
vllm serve Qwen/Qwen2.5-7B-Instruct

# 终端 3：发起请求
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Qwen/Qwen2.5-7B-Instruct", "messages": [{"role": "user", "content": "讲一个故事"}], "max_tokens": 500}'

# 使用 nsys 分析推理服务
nsys profile --stats=true \
  --sample=cpu \
  --trace=cuda,nvtx \
  python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct

GPU 利用率 > 80% → Compute-bound
GPU 利用率 < 50%，显存带宽满 → Memory-bound
GPU 利用率 < 50%，带宽也空闲 → IO-bound 或 batch 太小

对应优化：
  Compute-bound → Flash Attention、更大的模型
  Memory-bound  → 量化、减少显存读写
  IO-bound      → 批量传输、Pin Memory