概述
FLEURS(Few-shot Learning Evaluation of Universal Representations of Speech)是一个大规模多语言基准测试,涵盖了102种语言,用于评估自动语音识别(ASR)、口语理解以及语音翻译。
任务描述
主要特点
评估说明
cmn_hans_cn
en_us
yue_hant_hk
input_audio
属性
数据统计
各子集统计数据:
音频统计数据:
样例示例
子集: cmn_hans_cn
{ "input": [ { "id": "daf508c3", "content": [ { "text": "Please recognize the speech and only output the recognized content:" }, { "audio": "[BASE64_AUDIO: wav, ~648.8KB]", "format": "wav" } ] } ], "target": "这 并 不 是 告 别 这 是 一 个 篇 章 的 结 束 也 是 新 篇 章 的 开 始", "id": 0, "group_id": 0, "metadata": { "id": 1906, "num_samples": 166080, "raw_transcription": "“这并不是告别。这是一个篇章的结束,也是新篇章的开始。”", "language": "Mandarin Chinese", "gender": 0, "lang_id": "cmn_hans", "lang_group_id": 6 } }
提示模板
提示模板:
Please recognize the speech and only output the recognized content:
使用方法
使用CLI
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets fleurs \ --limit 10 # Remove this line for formal evaluation
使用Python
from evalscope import run_task from evalscope.config import TaskConfig task_cfg = TaskConfig( model='YOUR_MODEL', api_url='OPENAI_API_COMPAT_URL', api_key='EMPTY_TOKEN', datasets=['fleurs'], dataset_args={ 'fleurs': { # subset_list: ['cmn_hans_cn', 'en_us', 'yue_hant_hk'] # optional, evaluate specific subsets } }, limit=10, # Remove this line for formal evaluation ) run_task(task_cfg=task_cfg)