概述
C-MMLU(Chinese Massive Multitask Language Understanding,中文大规模多任务语言理解)是一个全面的中文评估基准,涵盖 STEM、人文、社会科学以及中国特有主题等共计 67 个学科领域,用于评估模型在中文语境下的知识储备与推理能力。
任务描述
主要特点
评估说明
属性
数据统计
各子集统计数据:
样例示例
子集: agronomy
{ "input": [ { "id": "11d46811", "content": "回答下面的单项选择题,请选出其中的正确答案。你的回答的最后一行应该是这样的格式:\"答案:[LETTER]\"(不带引号),其中 [LETTER] 是 A,B,C,D 中的一个。请在回答前进行一步步思考。\n\n问题:在农业生产中被当作极其重要的劳动对象发挥作用,最主要的不可替代的基本生产资料是\n选项:\nA) 农业生产工具\nB) 土地\nC) 劳动力\nD) 资金\n" } ], "choices": [ "农业生产工具", "土地", "劳动力", "资金" ], "target": "B", "id": 0, "group_id": 0, "subset_key": "agronomy", "metadata": { "subject": "agronomy" } }
提示模板
提示模板:
回答下面的单项选择题,请选出其中的正确答案。你的回答的最后一行应该是这样的格式:"答案:[LETTER]"(不带引号),其中 [LETTER] 是 {letters} 中的一个。请在回答前进行一步步思考。 问题:{question} 选项: {choices}
少样本(Few-shot)模板
以下是一些示例问题: {fewshot} 回答下面的单项选择题,请选出其中的正确答案。你的回答的最后一行应该是这样的格式:"答案:[LETTER]"(不带引号),其中 [LETTER] 是 {letters} 中的一个。请在回答前进行一步步思考。 问题:{question} 选项: {choices}
使用方法
使用命令行(CLI)
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets cmmlu \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['cmmlu'], dataset_args={ 'cmmlu': { # subset_list: ['agronomy', 'anatomy', 'ancient_chinese'] # 可选,用于评估特定子集 } }, limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)