概述
RefCOCO 是一个用于训练和评估指代表达理解(Referring Expression Comprehension, REC)模型的数据集。它包含图像、目标物体的边界框,以及用自然语言自由形式描述 MSCOCO 图像中特定目标的表达。
任务描述
主要特性
bbox
seg
bbox_rec
评估说明
eval_mode
属性
数据统计
各子集统计信息:
图像统计信息:
样例示例
子集: test
test
{ "input": [ { "id": "53a494fc", "content": [ { "text": "Please carefully observe the area circled in the image and come up with a caption for the area.\nAnswer the question using a single word or phrase." }, { "image": "[BASE64_IMAGE: jpeg, ~57.6KB]" } ] } ], "target": "['guy petting elephant', 'foremost person', 'green shirt']", "id": 0, "group_id": 0, "metadata": { "question_id": "469306", "iscrowd": 0, "file_name": "COCO_train2014_000000296747_0.jpg", "answer": [ "guy petting elephant", "foremost person", "green shirt" ], "original_bbox": [ 59.04999923706055, 93.23999786376953, 375.0199890136719, 362.5799865722656 ], "bbox": [], "eval_mode": "bbox" } }
提示模板
未定义提示模板。
额外参数
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets refcoco \ --limit 10 # 正式评估时请移除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['refcoco'], dataset_args={ 'refcoco': { # subset_list: ['test', 'val', 'testA'] # 可选,评估指定子集 # extra_params: {} # 使用默认额外参数 } }, limit=10, # 正式评估时请移除此行 ) run_task(task_cfg=task_cfg)