概述
TableBench 评估在现实场景中的表格问答:在四个类型(事实核查、数值推理、数据分析和可视化)的18个子类别中,对真实表格提出了886个问题。此适配器涵盖了前三种类型的836个文本答案问题。
任务描述
Final Answer: ...
主要特点
TCoT
SCoT
DP
评估说明
mix_metric
Final Answer:
extra_params={'instruction_type': 'DP'}
属性
数据统计
统计数据不可用。
样例示例
样例示例不可用。
提示模板
提示模板:
{question}
额外参数
使用方法
使用CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets tablebench \ --limit 10 # Remove this line for formal evaluation
使用Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['tablebench'], dataset_args={ 'tablebench': { # extra_params: {} # uses default extra parameters } }, limit=10, # Remove this line for formal evaluation ) run_task(task_cfg=task_cfg)