概述
CMATH 是一个面向中国小学数学的基准测试,包含 1,698 道覆盖 1 至 6 年级的数学题目,用于评估语言模型在中文数学应用题上的数学推理能力,题目难度随年级递增。
任务描述
主要特点
评估说明
属性
数据统计
各子集统计:
样例示例
子集: Grade 1
{ "input": [ { "id": "6e98e414", "content": "妈咪买了3盒茶叶,一盒茶叶有6小包,一共买了多少小包茶叶?\n请一步一步推理,最后将答案放在\\boxed{}中。\n" } ], "target": "18", "id": 0, "group_id": 0, "subset_key": "Grade 1", "metadata": { "reasoning_step": 1, "num_digits": 2 } }
提示模板
提示模板:
{question} 请一步一步推理,最后将答案放在\boxed{{}}中。
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets cmath \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['cmath'], dataset_args={ 'cmath': { # subset_list: ['Grade 1', 'Grade 2', 'Grade 3'] # 可选,用于评估指定子集 } }, limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)