概述
CMMU(Chinese Massive Multi-discipline Multimodal Understanding,中文大规模多学科多模态理解)包含从大学考试、测验和教材中人工收集的多模态问题,涵盖中文语境下的六个核心学科。它是 MMMU 的中文对应版本。
任务描述
主要特点
评估说明
属性
数据统计
各子集统计数据:
图像统计:
样例示例
子集: 设计
设计
{ "input": [ { "id": "47c0e169", "content": [ { "text": "请回答以下多项选择题,并选出正确选项。这些题目可能包括单选和多选题型。如果所提供的信息不足以确定一个明确的答案,那么请根据可用的数据和你的判断来选择最可能正确的选项。\n\n问题:" }, { "image": "[BASE64_IMAGE: png, ~17.4KB]" }, { "text": "为一幅灰度图,要为它局部添加颜色以得到右图所示的效果,正确的操作步骤是( )。\n选项:\n(A) 先将色彩模式转为RGB,然后用工具箱中的 【画笔工具】上色\n(B) 先将色彩模式转为RGB,制作局部选区,然后打开【色相/饱和度】对话框,在其中点中【着色】项,调节色彩属性参数\n(C) 先将色彩模式转为RGB,制作局部选区,然后打开【可选颜色】对话框,调节参数\n(D) 打开【色相/饱和度】对话框,直接调节色彩属性参数\n\n正确答案:\n" } ] } ], "target": "B", "id": 0, "group_id": 0, "subset_key": "设计", "metadata": { "id": "1900", "type": "选择", "source_type": "website", "analysis": null, "distribution": "本科", "difficulty_level": "easy", "subcategory": "设计", "category": "艺术与设计", "subfield": "['图像编辑', '色彩调整']", "img_type": "['屏幕截图']", "answer": "B", "option1": "先将色彩模式转为RGB,然后用工具箱中的 【画笔工具】上色", "option2": "先将色彩模式转为RGB,制作局部选区,然后打开【色相/饱和度】对话框,在其中点中【着色】项,调节色彩属性参数", "option3": "先将色彩模式转为RGB,制作局部选区,然后打开【可选颜色】对话框,调节参数", "option4": "打开【色相/饱和度】对话框,直接调节色彩属性参数" } }
提示模板
未定义提示模板。
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets cmmmu \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['cmmmu'], dataset_args={ 'cmmmu': { # subset_list: ['设计', '音乐', '艺术'] # 可选,用于评估特定子集 } }, limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)