概述
MaritimeBench 是一个用于评估 AI 模型在中文海事相关多项选择题上表现的基准测试。该基准包含与海事知识、航海、船舶工程及海上作业相关的专业问题。
任务描述
主要特点
评估说明
属性
数据统计
样例示例
子集: default
default
{ "input": [ { "id": "0b8c5f63", "content": "请回答单选题。要求只输出选项,不输出解释,将选项放在[]里,直接输出答案。示例:\n\n题目:在船舶主推进动力装置中,传动轴系在运转中承受以下复杂的应力和负荷,但不包括______。\n选项:\nA. 电磁力\nB. 压拉应力\nC. 弯曲应力\nD. 扭应力\n答:[A]\n 当前题目\n 船舶电力系统供电网络中,放射形网络的特点是______。①发散形传输②环形传输③缺乏冗余④冗余性能好\n选项:\nA. ②③\nB. ①③\nC. ②④\nD. ①④" } ], "choices": [ "②③", "①③", "②④", "①④" ], "target": "B", "id": 0, "group_id": 0 }
提示模板
提示模板:
请回答单选题。要求只输出选项,不输出解释,将选项放在[]里,直接输出答案。示例: 题目:在船舶主推进动力装置中,传动轴系在运转中承受以下复杂的应力和负荷,但不包括______。 选项: A. 电磁力 B. 压拉应力 C. 弯曲应力 D. 扭应力 答:[A] 当前题目 {question} 选项: {choices}
使用方法
使用命令行(CLI)
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets maritime_bench \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['maritime_bench'], limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)