概述
ArenaHard 是一个具有挑战性的基准测试,通过竞争性成对比较来评估语言模型。模型将在需要推理、理解和生成能力的困难任务上与 GPT-4 基线进行对比评判。
任务描述
主要特点
评估说明
属性
数据统计
样例示例
子集: default
default
{ "input": [ { "id": "088243c7", "content": "Use ABC notation to write a melody in the style of a folk tune." } ], "target": "X:1\nT:Untitled Folk Tune\nM:4/4\nL:1/8\nK:G\n|:G2A2|B2A2|G2E2|D4|E2F2|G2F2|E2C2|B,4|\nA2B2|c2B2|A2F2|E4|D2E2|F2E2|D2B,2|C4:|", "id": 0, "group_id": 0, "metadata": { "capability": "ABC Sequence Puzzles & Groups" } }
提示模板
提示模板:
{question}
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets arena_hard \ --judge '{"strategy":"llm","models":[{"model_id":"YOUR_JUDGE_MODEL"}]}' \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['arena_hard'], judge={'strategy': 'llm', 'models': [{'model_id': 'YOUR_JUDGE_MODEL'}]}, limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)