概述
SWE-bench Verified Mini 是 SWE-bench Verified 的一个紧凑子集,包含 50 个精心挑选的样本,在保持与完整数据集相同的性能分布、测试通过率和难度的同时,仅需 5GB 存储空间(而非 130GB)。
任务描述
主要特性
评估说明
pip install swebench==4.1.0
属性
数据统计
统计数据不可用。
样例示例
样例示例不可用。
提示模板
提示模板:
{question}
额外参数
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets swe_bench_verified_mini \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['swe_bench_verified_mini'], dataset_args={ 'swe_bench_verified_mini': { # extra_params: {} # 使用默认额外参数 } }, limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)