概述
SWE-bench Verified 是从 SWE-bench 中人工验证筛选出的 500 个样本子集,旨在测试系统自动解决真实 GitHub 问题的能力。每个样本均来自热门 Python 仓库中的真实 bug 修复或功能实现。
任务描述
主要特点
评估说明
pip install swebench==4.1.0
属性
数据统计
统计数据暂不可用。
样例示例
样例示例暂不可用。
提示模板
提示模板:
{question}
额外参数
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets swe_bench_verified \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['swe_bench_verified'], dataset_args={ 'swe_bench_verified': { # extra_params: {} # 使用默认额外参数 } }, limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)