概述
SWE-bench Lite 是 SWE-bench 的一个聚焦子集,包含来自 11 个热门 Python 仓库的 300 个 Issue-Pull Request 对。它为评估自动化软件工程能力提供了一个更易上手的入口。
任务描述
主要特性
评估说明
pip install swebench==4.1.0
属性
数据统计
统计数据暂不可用。
样例示例
样例示例暂不可用。
提示模板
提示模板:
{question}
额外参数
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets swe_bench_lite \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['swe_bench_lite'], dataset_args={ 'swe_bench_lite': { # extra_params: {} # 使用默认额外参数 } }, limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)