目标
把 7B 模型从 FP16 量化到 INT8，验证精度和性能差异。
环境
步骤
1. 安装量化工具
pip install autoawq vllm
2. 使用预量化模型
# 直接从 HuggingFace 拉取 INT4 量化版本vllm serve hugging-quants/Meta-Llama-3-8B-Instruct-AWQ-INT4 \ --quantization awq \ --host 0.0.0.0 \ --port 8000
3. 对比 FP16 vs 量化版
4. 精度验证
from lm_eval import evaluatorfrom transformers import AutoModelForCausalLM# 分别跑 FP16 和 INT4 的 MMLU 测试# 对比分数差异
5. 性能测试
# 用 ab 或 wrk 进行压测ab -n 100 -c 10 http://localhost:8000/v1/chat/completions
记录：
思考题
学习助手
