EvalScope 提供了基于 Web 的可视化工具,支持对单个或多个模型的评测与压测结果进行深入分析和对比,兼容数据集混合评测的展示,并支持在线任务提交与监控。
安装与启动
1. 安装依赖
安装可视化所需的依赖库:
pip install 'evalscope[service]' -U
备注
可视化功能需要 evalscope>=0.10.0 生成的评测报告。若版本过低,请先升级并重新运行评测
2. 启动服务
运行以下命令启动可视化 Web 服务:
evalscope service
服务启动后,在浏览器中打开打印的 Dashboard URL(默认为 http://127.0.0.1:9000)即可访问。
支持的命令行参数如下:
3. 界面设置
Web 界面顶部导航栏右侧提供以下快捷操作:
语言切换:点击语言按钮可在中文和 English 之间切换界面语言。
主题切换:点击日/月图标可在浅色模式和深色模式之间切换。
快速体验
我们提供了一份包含多个模型和数据集的评测样例,让您能快速体验可视化功能:
git clone https://github.com/modelscope/evalscope evalscope service --outputs examples/viz
该样例包含了 qwen-plus 和 qwen3-max 模型在 GSM8K、GPQA、IFEval、iQuiz 等数据集上的评测结果。
功能介绍
仪表盘
仪表盘是进入可视化工具后的首页,提供评测结果的宏观概览。
目录扫描:在页面顶部的路径栏中输入评测报告所在的根目录,点击扫描按钮即可自动发现该目录下的所有评测报告。
KPI 卡片:扫描完成后,页面显示四张关键指标卡片:
评测列表:支持三种视图模式切换:
此外,列表区域还提供搜索框(按模型名或数据集名搜索)和排序选项(按时间、得分、模型名排序)。
评测报告列表
报告列表页提供更精细的报告管理和筛选功能,支持多选报告进行对比分析。
筛选条件:提供以下筛选维度:
多选与对比:每张报告卡片左侧有复选框,选中后可执行以下操作:
分页:报告列表支持分页浏览,每页展示 20 条记录。
单模型评测详情
点击任意评测报告可进入详情页,查看单个模型在各数据集上的详细表现。详情页由报告头部、数据集导航和三个功能标签页组成。
概览标签
报告头部展示模型名称、关联数据集列表(可点击切换)、综合得分和样本总数,并提供查看 HTML 报告和返回列表的快捷按钮。
概览标签提供模型在各数据集上的整体表现汇总:
详情标签
详情标签深入展示选定数据集的子集得分和分析结果:
预测标签
预测标签逐条浏览每个样本的详细预测结果,是最细粒度的分析工具:
筛选与导航:
对话视图:每个样本以聊天气泡形式展示,支持以下内容类型:
评测结果面板:对话视图下方展示评测判定详情:
小技巧
当评测启用 Agent 评测 时,预测视图会自动检测样本的 agent_trace 并按 step 分组渲染 Agent Trace 视图(含工具调用、环境命令、nudge、错误等)。完整说明与示意图见 Agent 评测 → Trace 可视化。
数据集导航
在详情和预测标签中,左侧提供数据集导航侧边栏(移动端为顶部横向滚动条),可快速切换当前查看的数据集。
多模型对比
在报告列表页选中 2-3 份报告后点击“对比按钮”,即可进入多模型对比页面。对比页面支持最多 3 个模型的横向对比分析。
得分对比
预测对比
模型管理
对比页面顶部的模型管理区域支持以下操作:
评测基准浏览
评测基准页面提供 EvalScope 支持的所有评测数据集的浏览与检索功能。
在线评测与压测
Web 界面支持直接提交评测和压测任务,无需命令行操作。
评测任务
评测任务页面提供配置表单和任务监控面板:
压测任务
压测任务页面提供配置表单和任务监控面板:
在线评测和压测功能的详细配置说明,请参考评测快速开始和压测快速开始。