同一个模型,Agent 为什么差这么多?

简介: 同一模型在不同Agent执行环境(harness)下表现差异显著:GLM-5.1编码任务得分从52.5%跃升至65.5%。报告揭示——模型能力≠交付能力,工具、上下文、反馈机制等“工作条件”才是关键。优化harness,常比换模型更有效。

同一个模型,接进不同的 Agent,做事能力可能差出一截。

《State of AI Report 2026》引用的一组编码实验里,模型权重保持不变,仅调整外围执行环境,GLM-5.1 的任务成绩就从 52.5% 变成了 65.5%。

提高了 13 个百分点。准备给 Agent 换模型之前,这组结果值得仔细看看。

模型之外,还有一整套工作条件

报告把这部分称为 harness。可以把它理解为围绕模型搭建的执行环境:模型能调用什么工具,能看到哪些上下文,任务走到哪里,执行失败后怎样继续。

聊天框里的问题往往止于一次回答。真正交给 Agent 的工作可能要持续很久:检查代码库,定位问题,修改文件,运行测试,再根据错误提示调整。中间任何一个环节断了,前面说得再像那么回事,任务也交不出去。

说白了,模型需要拿到能干活的条件。

假设要修复一个订单系统的计算错误。模型只有一段报错截图,就得猜代码结构;允许读项目文件后,它才有机会追到计算逻辑;再给它测试环境,它可以检查改动是否破坏其他功能。这里每多一项条件,改变的都是它能够执行和验证的动作。

当然,工具越多,结果未必越好。过时的接口说明、互相矛盾的规则、不加筛选的历史记录,都可能让模型走偏。上下文要有来源,也要有取舍。

Image

13 个百分点,应该怎样理解

报告第 7 页介绍的受控测试,用 3 个模型搭配 3 种 harness,在 100 个 SWE-bench Verified 任务上比较表现。其中,GLM-5.1 从 minimal harness 的 52.5% 提升到 full harness 的 65.5%。

有意思的是,模型没换,结果变了。

这说明,比较 Agent 时需要交代外围执行条件。如果两个产品给模型提供的工具、上下文和反馈机制不同,仅把模型名字写在一张表里,解释不了最终差距。选型测试也需要尽量固定条件,或者明确列出哪些条件被调整了。

但这项实验的边界同样清楚。它针对指定的编码任务集,不能被改写成“所有企业接入 harness 都能提升 13 个百分点”,更不能折算成业务效率或成本收益。完整 harness 中哪些设计贡献了多少,还需要结合原始实验设置分析;企业自己的订单审核、合同检查与知识检索,也得用各自的任务重新测。

其实,这给企业提供了一个更具体的排查方向:结果不好时,先沿着执行记录看一遍,模型是不是根本没拿到必要信息。

如果它查错了版本,就补版本标识;如果测试没跑起来,就查环境;如果修改后没有验证步骤,就补成功判定。换模型仍然可能有用,只是这些问题也需要被看见。

任务分流,也会影响成绩

同一套执行方法不一定适合每项工作。

报告第 8 页介绍了另一类研究:先针对不同开发任务形成专业化 harness,再为新问题选择分支。在固定 Gemini 3 Flash 的数学测试中,路由后的成绩为 62%,Meta-Harness 基线为 46%;但两个分支潜在的合计覆盖率为 67%。

路由仍然丢掉了一部分可解任务。

这个差距很有启发。拥有不同工具与执行方法之后,还要判断当前任务适合哪一套。分错了,后面的能力就用不上。

放到企业场景,可以先做一层朴素的任务分类。查制度的请求走检索,批量核对数据的请求走计算与校验,需要改变业务状态的请求进入有权限控制的操作流程。这里是根据研究作出的工程建议,具体分法仍要用实际任务验证。

问题来了:任务描述含糊时,该交给谁?

可以让系统追问,也可以转交人工。未经确认就选一个能写入数据的分支,后续再补救通常更麻烦。路由设计里应当留出“无法判断”的出口。

长材料需要能查、能拆、能回溯

还有一种常见的卡点:资料都给了,Agent 却漏掉关键内容。

报告第 9 页介绍 Recursive Language Models 的思路。长输入保存在代码工作区里,模型按需要检查和切分材料,把部分内容交给后续模型调用处理,再组合中间结果。递归调用时,模型权重保持固定。

这为长文档任务提供了一种组织方法。不过,报告也提醒,效果依赖可复用的分解策略,递归调用并不总是更便宜。把材料拆开之后,如果遗漏跨章节约束,最终回答依然可能出错。

假设 Agent 需要检查一份有多个附件的采购材料,正文写着交付日期,补充协议修改了验收条件,附件又规定了例外情形。拆分时必须保留文件关系,让最终结论能回到具体条款。只拿到各段摘要,可能连规则冲突发生在哪里都找不到。

说实话,“读过全部文件”很难成为验收标准。更实用的检查是:结论指向哪份文件、哪个版本、哪条依据;找不到依据时,是否明确标记了待确认。

把失败留下来,才有下一轮改进

任务做错一次,人工改好后就结束,这类修正很难积累。

报告第 114 页给出的生产反馈路径更具体:记录真实任务与工具调用,保留修正、重试及执行轨迹,把失败任务改成可重复运行的测试,再验证上下文、工具、路由或模型的调整。

假设一次订单校验漏掉了作废记录,修复后就应把这份输入保留为测试样本,写清楚哪些记录必须排除、结果应当怎样。下次升级模型或改工具接口时,再跑一遍;如果同类错误重新出现,团队能在交付前看到它。

这事儿需要业务人员参与。测试脚本可以判断字段有没有填、金额能否对上,却未必知道某种审批状态能不能放行。成功条件要由懂业务的人给出来,开发人员再把可以自动检查的部分落到程序里。

Image

对于重复任务,Skills 可以封装可复用指令和代码,memory 可以保留后续任务需要的信息。报告第 10 页讨论的正是这类积累。不过,过期规则也可能被重复调用,所以沉淀内容需要标明适用范围、版本和更新责任人。

企业准备试用 Agent 时,可以先挑一个输入相对稳定、结果便于核查的任务,保留一组正常样本和失败样本。每次改动都比较完成情况,同时记录耗时与人工复核工作量。这样才能知道改进有没有发生,以及代价落在哪里。

让 Agent 接进已有业务流程

当任务涉及业务系统,落地还要处理数据入口、操作权限和状态变更。Agent 生成的建议可以先进入待审核区,确认后再由业务系统执行写入;执行记录应保留操作者、输入版本和处理结果,方便追踪。

像活字格这样的 AI 驱动型企业级低代码开发平台,可以用于搭建承接这类任务的业务应用。具体的 Agent 调用、权限规则、审核节点与异常处理,需要按项目设计和验证。选型时,把这些工作条件列进验收清单,才能看清平台与实施团队各自承担什么。

先把一项任务稳定交付,再扩展到相邻流程。每次出现失败,都能复现、定位并检验修复效果,这样的 Agent 才有持续改进的依据。

来源与口径:本文依据 Nathan Benaich / Air Street Capital《State of AI Report 2026》(2026 年 10 月 8 日),报告页码 7、8、9、10、114,对应 PDF 物理页 8、9、10、11、115。实验数字为报告转述;文中的订单、采购和系统接入示例均为说明性假设,不代表客户案例或收益承诺。

相关文章
|
5天前
|
云安全 人工智能 运维
当攻击全面Agent化,你的安全防御能否跟上AI Speed?
多起客户侧AK泄露事件应急的真实观察
1242 4
|
28天前
|
人工智能 JSON API
全网刷屏的 Jev 模型正式开放!一手实战测评 + 保姆级教程
全网爆火的 Jev 模型是什么?有什么用?怎么使用?怎么接入 AI 编程工具?效果真的好么?傻子可懂的 Jev 保姆级实战教程 + 项目实战测评来啦
9791 32
|
8天前
|
存储 人工智能 安全
千问办公官网入口网页版登录:qwenwork.cn 注册送2000积分、登录送100积分
阿里云千问办公(QwenWork)是AI智能工作平台,支持一句话生成PPT、表格、网页、视频及数据分析。个人免费版送2000积分+每日登录赠100分,含1GB存储、5个发布页;企业版198元/席/月起。阿里千问办公QwenWork官网:https://t.aliyun.com/U/0VCTGt 阿里AI工作平台,一句话完成数据分析、PPT 生成、视频剪辑、网页搭建等复杂任务
|
3天前
|
人工智能 API 开发工具
DeepSeek Harness 神插件:白嫖 13 家大厂模型
`dsh-our-free-model` 是 DeepSeek Harness 神级插件:零配置、零API Key、零账号,聚合13家大厂免费模型(含DeepSeek V4.1 Flash、Kimi K3等),支持本地网关、用量看板与自动降级,真正实现“白嫖即用”。
|
14天前
|
存储 人工智能 并行计算
大模型本地部署终端选型方法论:以 Qwen3.8-27B 为例的四档分层完整流程
本文提出一套大模型本地部署终端选型方法论:定约束、定档位、定框架、定参数四步决策法,配合入门、主力、质量、无损四档分层模型。以 Qwen3.8-27B 实测数据为例,逐环节解读显存、带宽、存储、散热、系统、预算等要素,给出面向不同预算的优选方案、决策自查清单与市场观察框架。文末前瞻 AI 笔记本的 CPU+GPU 与统一内存两条路线,论证四步决策法在新品类上的延续性。
|
5天前
|
Web App开发 人工智能 JavaScript
太猛了,一个月干到15W+,给大家推荐一个最近爆火的开源逆向工具:REA
REA(Reverse Engineer Anything)是近期爆火的开源AI逆向工具,4月发布,1个月内斩获15万+ Star。它让AI Agent无需源码即可分析二进制、APK、JS/Electron、HAR包等17类目标,自动反编译、生成可运行代码,并强制返回带证据与局限的结论。全本地执行,MIT协议,支持Hopper/Ghidra/IDA等引擎,一行命令即可上手。
628 1
太猛了,一个月干到15W+,给大家推荐一个最近爆火的开源逆向工具:REA
|
13天前
|
人工智能 JSON 自然语言处理
2026 年 Jev 决策模型深度拆解:原理解读、实战测评与保姆级落地教程
有一款特殊AI模型在开发者圈子刷屏,它摒弃传统大模型擅长的对话聊天能力,专注做高速结构化决策,它就是TypeSafe AI推出的Jev模型。该模型由ChatGPT共同发明人Diogo Almeida主导研发,定位为**System One Model(系统一模型)**,对标人类大脑快速直觉判断的思维模式,在响应延迟、调用成本、结构化输出稳定性上相比传统生成式大模型有着巨大差异。本文会完整拆解Jev底层原理、三大核心原语能力、适用业务场景,同时提供可直接运行的curl、Python代码示例,并且结合多组实测数据,客观分析模型优势与能力边界,帮助普通开发者和AI应用从业者快速上手落地。
933 1
|
9天前
|
人工智能 JSON 自然语言处理
2026 年 Jev 决策模型全解析:核心原理拆解,性能实战测评与落地部署教程
有一款特殊AI模型在开发者圈子刷屏,它摒弃传统大模型擅长的对话聊天能力,专注做高速结构化决策,它就是TypeSafe AI推出的Jev模型。该模型由ChatGPT共同发明人Diogo Almeida主导研发,定位为System One Model(系统一模型),对标人类大脑快速直觉判断的思维模式,在响应延迟、调用成本、结构化输出稳定性上相比传统生成式大模型有着巨大差异。本文会完整拆解Jev底层原理、三大核心原语能力、适用业务场景,同时提供可直接运行的curl、Python代码示例,并且结合多组实测数据,客观分析模型优势与能力边界,帮助普通开发者和AI应用从业者快速上手落地。
593 0

热门文章

最新文章