概述
BhashaBench-Multi(Finance)是一个领域特定的多项选择题基准测试,用于评估大语言模型(LLM)在22种印度语言中对金融知识的掌握情况。每个问题最初以英文编写,随后通过机器翻译(并附有基于大语言模型判断的翻译质量评分)转换为目标语言;本适配器使用的是翻译后的问题和选项。
任务描述
主要特点
评估说明
属性
数据统计
统计数据暂不可用。
样例示例
样例示例暂不可用。
提示模板
提示模板:
回答以下多项选择题。你的整个回复内容必须采用如下格式:'ANSWER: [LETTER]'(不含引号),其中 [LETTER] 是 {letters} 中的一个。 {question} {choices}
使用方法
使用 CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets bhasha_bench_multi_finance \ --limit 10 # 正式评估时请删除此行
使用 Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['bhasha_bench_multi_finance'], limit=10, # 正式评估时请删除此行 ) run_task(task_cfg=task_cfg)