概述
General-VMCQ 是一个可自定义的视觉多项选择题问答基准测试,用于评估多模态模型。 它采用 MMMU 风格的格式,在文本中使用 <image N>/<video N>/<audio N> 占位符,支持灵活的媒体输入。
<image N>
<video N>
<audio N>
任务描述
主要特性
{"path": ...}
{"bytes": ...}
images
videos
audios
评估说明
属性
数据统计
统计数据不可用。
样例示例
样例示例不可用。
提示模板
提示模板:
Answer the following multiple choice question. The last line of your response should be of the following format: 'ANSWER: [LETTER]' (without quotes) where [LETTER] is one of {letters}. Think step by step before answering. {question} {choices}
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets general_vmcq \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['general_vmcq'], limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)