概述
General-QA 是一个可自定义的问题回答基准测试,用于评估语言模型在开放式文本生成任务上的表现。它支持灵活的数据格式和可配置的评估指标。
任务描述
主要特性
评估说明
属性
数据统计
统计数据不可用。
样例示例
样例示例不可用。
提示模板
提示模板:
请回答问题 {question}
使用方法
使用命令行(CLI)
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets general_qa \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['general_qa'], limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)