概述
Data-Collection 是一个灵活的框架,用于将多个评估数据集混合成统一的评估套件。它能够通过从各类基准测试中精心挑选的样本,对模型进行全面评估。
任务描述
核心特性
评估说明
属性
数据统计
统计数据不可用。
样例示例
样例示例不可用。
提示模板
未定义提示模板。
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets data_collection \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['data_collection'], limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)