概述
General-MCQ 是一个可自定义的多项选择题问答基准测试,用于评估语言模型。它支持灵活的数据格式和可变数量的答案选项。
任务描述
主要特性
评估说明
属性
数据统计
统计数据不可用。
样例示例
样例示例不可用。
提示模板
提示模板:
回答下面的单项选择题,请选出其中的正确答案。你的回答的全部内容应该是这样的格式:"答案:[LETTER]"(不带引号),其中 [LETTER] 是 {letters} 中的一个。 问题:{question} 选项: {choices}
额外参数
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets general_mcq \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['general_mcq'], dataset_args={ 'general_mcq': { # extra_params: {} # 使用默认额外参数 } }, limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)