美团用"一条指令当基准"测大模型:九条任务、九个模型,排名换一条就变

简介: 这是一篇介绍FlexBench评测新范式的简介:不比模型综合排名,而是针对用户**自有指令**动态生成专属测试集,以“覆盖率”(流程走多远)和“达成度”(每步条件对不对)双维度评估。实验证明模型表现随指令差异显著,强调“别用别人的考卷验自己的流程”。

一句话定位:这不是"哪个模型更强",而是"用一条你自己的指令,能不能生成一套只对你有效的测试"——被检验的是评测集本身,不是模型。同样的方法可迁移到客服机器人按话术流程验收、订单退款按规则分支回归、多角色审批按权限链检查、发布上线按检查清单过门。

摘要

美团技术团队 11 月 18 日发布的 EMNLP 2026 论文精选里,第 3 篇讲的是一个评测思路:不给所有模型同一张固定考卷,而是拿用户的目标指令现场生成考卷,再用两个指标打分——覆盖率(工作流走到哪一步)和达成度(每一步的条件对不对)。实验跑了九个模型、九条指令、3,888 段对话,最值得记的结论是排名不稳定。本文把这个框架翻译成测试团队能直接用的做法,并说清它不能替你回答哪三个问题。

de02d987image.png

榜单上排第二,换到你的工作流里可能排第七。

这不是危言耸听,是美团技术团队在 EMNLP 2026 的一篇论文里直接测出来的现象。论文叫《One Instruction Is a Benchmark: End-to-End Instruction-Following Evaluation with FlexBench》,被收在美团 11 月 18 日发布的 12 篇精选里。它的出发点很朴素:现在的大模型在实际业务里靠的是"理解用户给的指令",而这些指令往往很长、很细、专门为一个工作流定制。在这种情况下,通用榜单上的综合表现,反映不了模型忠实执行你那条具体指令的能力。

这句话对做验收测试的人应该很熟悉——你在用例里写死了一个 SOP,然后拿一个通用评分标准去验收它,结果一定是"大体没问题、细节全错"。

它到底怎么造考卷

FlexBench 做的事可以拆成两步,第二步再拆成两个分数。

第一步,给定目标指令,导出一组可验证的评估维度。注意"可验证"这三个字:导出的不是"回答是否专业"这种维度,而是能判断对错的具体条件。

第二步,根据这些维度生成一段指令条件化的对话语料。语料是对话,不是单轮问答——因为原始指令本身就是多轮工作流。

打分交给 FlexEval,两个指标:

  • COVERAGE(覆盖率):这套对话把工作流推进到了哪一步。
  • ACHIEVEMENT(达成度):推进到的那些步骤里,条件满足得对不对。

这两个数是正交的,这一点很重要。一个模型可以把整个流程走完但每一步的条件都错,也可以只走了一半但每一步都对。把两件事混成一个分数,你就分不清"没做完"和"做错了",而这两种失败在业务里对应完全不同的修复动作。

九个模型、九条指令、3,888 段对话,结论是排名不稳

实验规模原文说得很清楚:九条多轮目标指令,覆盖多种场景类别和工作流拓扑;九个当代 LLM;总共生成 3,888 段对话。

结论一句话:模型排名和失败模式,在不同目标指令之间差异显著。 原文由此主张,应该超越固定综合基准,采用指令条件化的评估。

这条结论的分量要放在"评测集设计"这个行当里看。过去几年大模型评测的主要矛盾是题目泄漏与饱和,解法是不断出新题、加难度、换领域。这篇论文给的是另一个方向:题目不必更难,但必须是针对你的指令生成的。难度不是关键变量,相关性是。

对测试团队来说,这句话可以直接换成一个验收原则:别用别人的考卷验收自己的流程。

覆盖率与达成度,落在流程上的样子

把这两个指标画到一条工作流上,你会看到它其实是在问两个不同的问题。

覆盖率问的是"走到哪了":这条指令有五个步骤,五个都碰过没有,卡在第几步。

达成度问的是"走对没有":碰过的每一步,条件是否满足。

image.png

四个象限对应四种完全不同的处置:右下(走完但对得少)说明模型在照流程演戏,要查的是每一步的判定依据;左上(走得短但对)说明它提前停了,要查的是中断条件;左下(又短又错)通常是意图识别失败,跟流程无关;右上才是"能用",但要继续看余量。

一个反常识的点:左上象限最容易被误判为通过。 因为每一步都对,人扫一眼觉得质量很高。这类用例必须靠覆盖率卡住——用"至少推进到第几步"作为硬门槛。

这条线的边界:它不回答三个问题

原文没有承诺这三件事,但引用它的人常常顺手承诺了。得说清。

一,它不回答"哪个模型最强"。九条指令、九个模型是一个实验规模,原文的结论恰恰是排名不稳,拿它去排座次等于反着用。

二,它不给你现成的维度。导出维度那一步依赖"用户提供的目标指令"质量——指令本身写得含糊,导出的维度就是含糊的,后面的分数再精确也是精确地错。这是所有"按需求生成用例"方法的共同前提,也是最容易翻车的地方。

三,它不评估成本与延迟。两个分数都是质量维度,一条指令跑十轮对话的耗时、token 消耗,原文的指标体系里没有。

搬到自己项目里的三步

第一步,先把一条真实指令写清楚。不要写"帮用户处理退款",要写到能导出维度的程度:谁发起、在哪个界面、要满足哪几个前置条件、什么情况下必须停下来问人。这一步花的时间会超过你的预期,这也是它值得做的地方。

第二步,把维度分成"覆盖"和"达成"两列。一个维度只能进一列。判据是:这个维度能否用"走到没走到"回答——能,进覆盖;不能,进达成。

第三步,用这两列给你现在的回归集做一次体检。绝大多数团队的回归集是只有达成的:每条用例都断言某一步的输出正确,但没人统计"这次回归把流程走到了第几步"。这也是为什么线上总在"某个没测到的分支"出事。

为什么"排名不稳"是好事,而不是坏事

看到"模型排名在不同指令之间差异显著",第一反应通常是"那榜单不可信了"。换个角度看,这个结果说明评测捕捉到了真实的能力差异——如果所有指令下排名都一样,那才更可能是评测集在测同一件事。

原文由此主张超越固定综合基准,采用指令条件化的评估。这句话对做产品的人意味着一个说法上的修正:不要再问"我们的模型在第几名",改问"在我们这九条关键工作流上,它哪几条会掉链子"。后者才是能直接转成测试任务的问题,前者只能转成采购决策。

一个可执行的落地判据

不用等这套工具开源(原文给的论文入口能拿到方法,但不等于拿到产品),你可以用一张表把它的逻辑跑起来,下面这张就是上面三步的产物:

工作流步骤 覆盖判据(走到没走到) 达成判据(条件对不对) 失败时的首要怀疑
1 识别用户诉求 是否进入退款流程 是否识别出订单号 意图识别
2 校验订单状态 是否查询了订单 是否排除了已发货 前置条件漏判
3 计算退款金额 是否给出金额 是否扣减优惠券 业务规则
4 需人工确认 是否触发转人工 是否带上完整上下文 中断条件
5 发出结果 是否回执 回执金额与步骤 3 一致 状态串号

这张表跑一遍,你会立刻发现哪一行只有达成判据没有覆盖判据——那一行就是这次体检里最薄的环节。

这张表还有一个用法:把它当成"该谁审"的分工表。覆盖判据的失败,找人看流程有没有定义清楚;达成判据的失败,找人看业务规则有没有写对;两者都失败的,先别看规则,去看意图识别——这一步之前的所有检查都是浪费。

最后一句判断:榜单的价值是筛选候选,不是验收成品。你要验收的是"它对不对得上你的指令",这件事从来没有通用答案。

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

相关文章
|
7天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
8651 21
|
7天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2641 12
|
2天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1273 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
5天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
10天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
22天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
10957 59
|
3天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
926 0
|
5天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1255 1
|
8天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。