概述
Chinese SimpleQA 是一个中文问答数据集,旨在评估语言模型在简单事实性问题上的表现。该数据集测试模型在不同知识领域中理解和生成正确中文答案的能力。
任务描述
主要特点
评估说明
属性
数据统计
各子集统计信息:
样例示例
子集: 中华文化
{ "input": [ { "id": "b6b48177", "content": "请回答问题:\n\n伏兔穴所属的经脉是什么?" } ], "target": "足阳明胃经", "id": 0, "group_id": 0, "subset_key": "中华文化", "metadata": { "id": "97e7f58a3b154facaa3a5c64d678c7bf", "primary_category": "中华文化", "secondary_category": "中医" } }
提示模板
提示模板:
请回答问题: {question}
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets chinese_simpleqa \ --judge '{"strategy":"llm","models":[{"model_id":"YOUR_JUDGE_MODEL"}]}' \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['chinese_simpleqa'], judge={'strategy': 'llm', 'models': [{'model_id': 'YOUR_JUDGE_MODEL'}]}, dataset_args={ 'chinese_simpleqa': { # subset_list: ['中华文化', '人文与社会科学', '工程、技术与应用科学'] # 可选,用于评估特定子集 } }, limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)