概述
General-VQA 是一个可自定义的视觉问答(Visual Question Answering)基准测试,用于评估多模态模型。 它支持 OpenAI 兼容的消息格式,并允许灵活地输入图像/视频/音频(本地路径、URL 或 base64 编码)。
任务描述
核心特性
<image N>
<video N>
<audio N>
image_1
video_1
audio_1
评估说明
属性
数据统计
统计数据不可用。
样例示例
样例示例不可用。
提示模板
未定义提示模板。
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets general_vqa \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['general_vqa'], limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)