概述
MeasureBench 是一个全面的基准测试,用于评估视觉语言模型(VLMs)从测量仪器中读取数值的能力。它涵盖了 真实世界照片 和 合成生成图像 两大类,包含 4 种设计类别下的 26 种仪器类型。
任务描述
主要特性
评估说明
accuracy
all_correct
interval_matching
multi_interval_matching
Answer: <value> <unit>
image_type
subset_key
subset_list
属性
数据统计
各子集统计:
图像统计:
样例示例
子集: real_world
real_world
{ "input": [ { "id": "1341f508", "content": [ { "image": "[BASE64_IMAGE: jpeg, ~75.8KB]" }, { "text": "What is the reading of the instrument?\nProvide your final answer on the last line in the format: Answer: <value> <unit>. For example: Answer: 42.5 A" } ] } ], "target": "", "id": 0, "group_id": 0, "subset_key": "ammeter", "metadata": { "question_id": "ammeter_0", "image_type": "ammeter", "design": "dial", "evaluator": "interval_matching", "evaluator_kwargs": "{\"interval\": [9.5, 9.7], \"units\": [\"A\", \"Ampere\"]}" } }
提示模板
未定义提示模板。
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets measure_bench \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['measure_bench'], dataset_args={ 'measure_bench': { # subset_list: ['real_world', 'synthetic_test'] # 可选,用于评估特定子集 } }, limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)