执行 evalscope eval --help 可获取全部参数说明。
环境变量
以下环境变量可在启动前设置,用于控制全局默认行为:
模型参数
被评测的模型名称
• ModelScope模型ID(如Qwen/Qwen2.5-0.5B-Instruct)
• 本地模型路径(如/path/to/model)
• API服务的模型ID(如Qwen2.5-0.5B-Instruct)
模型加载参数,逗号分隔的key=value或JSON字符串
• revision: 模型版本
• precision: 模型精度
• device_map: 设备分配
revision=master
precision=torch.float16
device_map=auto
text_generation
(可选:image_generation)
示例:
# key=value形式 --model-args revision=master,precision=torch.float16,device_map=auto # JSON字符串形式 --model-args '{"revision": "master", "precision": "torch.float16", "device_map": "auto"}'
--generation-config 参数支持以下配置项(逗号分隔的key=value或JSON字符串):
# key=value形式 --generation-config do_sample=true,temperature=0.5 # JSON字符串形式(支持更复杂参数) --generation-config '{"do_sample":true,"temperature":0.5,"extra_body": {"chat_template_kwargs":{"enable_thinking": false}}}'
数据集参数
modelscope
(可选:huggingface)
每个数据集最大评测数据量
• int:评测前N条数据
• float:评测前N%数据
示例:100或0.1
dataset-args 配置项
--dataset-args 为JSON字符串,每个数据集可配置以下参数:
评测结果聚合方式,默认mean。可选:mean_and_pass_at_k、mean_and_vote_at_k、mean_and_pass_hat_k(均需设置repeats=k)。
• pass_at_k:同一样例生成k次至少一次通过的概率(如humaneval设repeats=5)
• vote_at_k:对同一样例k次结果投票后计分
• pass_hat_k:同一样例k次全部通过的概率(如tau2_bench设repeats=3)
输出过滤器
• remove_until: 过滤指定字符串之前的内容
• extract: 提取正则匹配的内容
sandbox_config 配置项:
--datasets gsm8k arc ifeval hle \ --dataset-args '{ "gsm8k": { "few_shot_num": 4, "few_shot_random": false }, "arc": { "dataset_id": "/path/to/arc" }, "ifeval": { "filters": { "remove_until": "</think>" } }, "hle": { "extra_params": { "include_multi_modal": false } } }'
评测参数
评测类型
• llm_ckpt: 本地模型推理(transformers)
• openai_api: OpenAI兼容Chat Completions API服务
• openai_responses_api: OpenAI官方Responses API服务
• anthropic_api: Anthropic Claude API服务
• litellm: LiteLLM多厂商路由(支持100+ LLM服务商)
• text2image: 文本转图像模型(diffusers)
• text2speech: 文本转语音模型服务
• image_editing: 图像编辑模型
• mock_llm: 模拟推理(功能验证)
• custom: 自定义评测类型
评测批量大小,作用于以下阶段:
• 推理阶段:并发请求数(远程 API 模式)或批量大小(llm_ckpt模式)
• LLM-judge 评审阶段:并发线程数
• batch_calculate_metrics 阶段:每批次处理的样本数
评测后端
• Native: 默认后端
• OpenCompass: 大语言模型评测
• VLMEvalKit: 多模态模型评测
• RAGEval: RAG/Embedding/Reranker/CLIP评测
• ThirdParty: 特殊任务评测
Judge参数
Native LLM Judge 通过一个 typed judge 对象配置:Python/YAML 使用 judge={...},CLI 使用 --judge '<JSON object>'。
TaskConfig( model='MODEL', datasets=['simple_qa'], judge={ 'strategy': 'llm', 'models': { 'model_id': 'JUDGE_MODEL', 'api_url': 'OPENAI_COMPATIBLE_URL', 'api_key': 'JUDGE_API_KEY', 'generation_config': {'temperature': 0.0, 'retries': 3}, }, 'repeats': 1, 'position_swap': 'auto', 'aggregation': 'mean', 'min_valid_judges': 1, }, )
models 可传单个对象或对象列表。列表表示独立 Judge;重复的 model_id 必须显式指定不同的 judge_id,唯一 model_id 默认同时作为 judge_id。
models 的每项支持 judge_id、model_id、api_key、api_url、eval_type、model_args 与 generation_config。provider 私有的模型初始化参数放入 model_args;transport 重试放入 generation_config.retries。
judge.contract 仅配置通用单 verdict Judge:system_prompt、prompt_template、score_mapping 和 score_type。pattern 要求 Judge 在 JSON 中返回 score_mapping 之一;numeric 要求 JSON 分数位于 [0, 1]。框架会在 prompt 中追加 JSON 格式要求,只解析一次普通模型回复;不使用 constrained decoding、 正则提分或纠正性追问。无效回复显示为 unavailable,并从指标中排除,而非记为 0。
对于经过 LLM 判定的样本,报告包含 JudgeSummary:覆盖率、失败计数与分歧。当 adapter 通过确定性的 Judge 短路直接判定样本时,得分 metadata 会记录 judge_skipped=true 和 judge_skip_reason;Web review 面板会将其标为规则直接判分,而非 LLM verdict。native 评测复用 prediction 和 review 前要求缓存的评测身份完全匹配。 设置 rerun_review=True 可复用 prediction 并重算 review,新的 review 文件只有成功后才原子替换旧文件;它也是身份 不匹配时唯一的显式覆盖开关,生成的配置会在当前评测版本下记录 prediction 来源。
旧 judge_strategy 和单个 mapping judge_model_args 仅保留一轮输入迁移并会告警。已删除的 judge_worker_num 和 score_pattern 会明确报错。
Sandbox参数
EvalScope 使用嵌套的 --sandbox 配置(对应 SandboxTaskConfig)统一管理沙箱设置。
--sandbox 配置项
完整使用方法(含本地与远端管理器配置示例)请参考 沙箱环境使用。
Agent 参数
--agent-config / agent_config 用于启用 Agent 评测:当设置后,所有基于 DefaultDataAdapter 的基准会改用 内置 AgentLoop 进行推理,或通过 外部 Agent Bridge 转交给 Claude Code / Codex 等成品 CLI。AgentLoopAdapter 子类(如 swe_bench_*_agentic)保留 benchmark 默认值,同时接受其支持的显式覆盖,例如策略、步数和工具。
agent-config 配置项
其他参数
work-dir 目录结构示例
./outputs/{timestamp}/ ├── configs/ │ └── task_config_b6f42c.yaml # 任务配置 ├── logs/ │ └── eval_log.log # 评测日志 ├── predictions/ │ └── {model_id}/ │ └── {dataset}.jsonl # 模型推理结果 ├── reports/ │ └── {model_id}/ │ └── {dataset}.json # 评测报告 ├── reviews/ │ └── {model_id}/ │ └── {dataset}.jsonl # 评测结果详情 └── progress.json # 进度追踪文件(启用--enable-progress-tracker时生成)
progress.json 文件格式示例:
{ "status": "running", "pipeline": "eval", "total_count": 14042, "processed_count": 5200, "percent": 37.03, "stage": { "name": "Evaluating", "label": "mmlu", "current": 1, "total": 3, "status": "running", "children": [ {"name": "Predicting", "label": "mmlu@test", "current": 1000, "total": 1000, "status": "completed", "children": []}, {"name": "Reviewing", "label": "mmlu@test", "current": 320, "total": 1000, "status": "running", "children": []} ] }, "updated_at": "2026-03-09T10:05:42Z" }