组织级 Harness 的建设路径:从 Better Harness 的实践启程

简介: Better Harness 是面向 AI 编程代理(Agent)的观测与治理框架,聚焦“单点做成→团队复制→规模运营”三阶段演进。它串联跨 Agent、项目与设备的任务证据链,将执行数据转化为可验证、可复用、可治理的交付能力,助力个人提效、团队沉淀实践、组织规模化交付。

iwEcAqNwbmcDAQTRA3UF0QF5BrBzBZdvQwixPwpxf23Qo90AB9MAAAABV6m8SQgACaJpbQoAC9IAB9f2.png


在 Better Harness 中,我们构建了一套分析体系,用于理解 Agent 的执行过程及其所处的工程环境。对应的开源版本,也已经支持从十余种 Coding Agent 中读取并分析不同层级的本地数据。但随着开发者开始并行使用多个 Agent、维护多个项目,并在不同设备间切换,核心问题不仅仅是:如何将分散的数据汇总?


真正的问题是:如何将分布在不同 Agent、项目和机器上的执行数据串联起来,形成一条从需求到验证的完整任务链路?又如何让这套能力不仅帮助个人更好地完成任务,也帮助团队把方法复用,并最终支撑组织规模化地交付?


这也是我们正在尝试探索的方向:让 Agent 不只是“会完成一次编码任务”,而是逐渐成为一种可验证、可复制、可治理、可运营的交付能力。


01.png


为什么:Agent 的挑战正在从“单点做成”走向“规模运营”


在使用一个新的 Agent 的时,通常我们只关心一个问题:它能不能把眼前的任务完成?然而一次成功,并不等于形成了稳定能力,所以在构建 Agent Harness,我们需要构建持续丰富的测试集来评测。


同样的任务交给另一位开发者、另一个 Agent、另一个项目,或者换到另一台机器上,结果可能完全不同。与此同时,上下文、工具、权限、项目规范、Skill、MCP、模型和验收方式中的任何差异,都可能改变最终结果。


因此,Agent 能力要真正进入团队和组织,需要经历三个阶段:


image (9).png


  • 单点做成关注的是:这一次任务需要怎样的上下文、知识和工具能力等,才能产生可靠的结果产物。
  • 团队复制关注的是:一次成功中的哪些做法,可以沉淀为 Skill、模板、MCP 服务和质量规则。
  • 规模运营关注的是:这些能力如何通过 Skill 市场、 MCP 网关、评测体系和模型网关,被安全地提供给更多团队。


这条路径对应三个逐步升级的问题,一次任务能力能不能做好,同类任务能不能稳定复用,成熟能力能不能安全、经济地规模化运行。


要回答这些问题,仅仅统计 Session 数量、Token 消耗或者工具调用次数是不够的,还需要建立围绕任务结果的采集与反馈机制,把 Skill 与 MCP 的执行过程、验收结果和资源消耗连接起来,再据此优化 Harness 资产、改进团队实践、补齐个人能力,最终降低完成一次合格任务所需要的整体成本。


02.png


关注点驱动:不同层级,需要不同的 Harness


随着 Builder 从个人走向团队和企业,Harness 解决的问题也随之变化:个人首先需要把一次 Agent 协作做好;团队需要让有效的方法稳定复用;企业则需要让成熟能力在安全与成本可控的前提下规模化运行。因此,Harness 的能力重点也应当分层设计。


image (10).png


个人:把一次 Agent 协作做好


今天,人人都可以成为 Builder,每天指挥多个 Agent 工作。对于个人而言,最直接的问题是:怎样让 Agent 一次把活干好?所以,我们需要:


  • 先把任务说清楚,再让 Agent 动手:明确问题、改动范围、不做什么、交付物、验收方式和风险点,即我们的 spec 文档上的内容;如果 Agent 还无法准确理解完成条件,就不进入执行/实现阶段。


  • 按任务准备上下文和工具:提供当前任务真正需要的项目说明、架构知识、领域知识和技能,只开放必要的目录、命令、工具与网络权限。


  • 围绕真实产物与 Agent 协作:直接在代码 diff、网页或文档上标注、修改和验收,同时要求 Agent 给出验证结果(截图、测试等 )。


因此,个人视角关注的是能否还原一次任务从定义、执行到最终验收的完整过程。


团队:把个人经验变成稳定的工程实践


而对于来说团队,关注的层面就有所不同,更关注的是如何把个人经验变成稳定的工程实践?


  • 让环境可以被 Agent 操作:搭建统一安装、启动、测试和调试方式,使 Agent 能快速进入验证阶段、复现问题,并在失败后恢复。诸如于通过 Npm、Gradle 之类的标准构建工具,定义好构建任务。


  • 让规则可以被自动检查:为架构、安全、测试和视觉要求配置对应的检查机制与验收方式,让规则真正进入执行流程。诸如于,能通过 Playwright CLI、Agent Browser 访问环境,来进行视觉检查。


  • 让任务经验可以被持续沉淀:关联需求、会话、文件变化、测试、提交和评审证据,将反复验证有效的做法沉淀为项目规范、Skill、脚本、Hook、任务模板或质量门禁。


团队视角关注的不是某一次任务偶然成功,而是能否通过统一环境、自动检查和 Harness 资产,把一类任务持续做稳。


组织:让 Agent 能力以可接受的成本规模化运行


当 Harness 进入多团队、多项目和多设备协作后,组织需要解决的,不再只是某个 Agent 是否完成任务,而是如何基于跨任务、跨团队的真实证据,持续治理和优化交付能力:


  • 建立跨 Agent 的任务证据链:关联需求、任务定义、Agent 会话、上下文与工具使用、代码变更、验证结果、人工验收和后续缺陷,使一次交付能够被还原、追溯和复盘。


  • 治理可复用的 Harness 能力:结合轨迹分析,将经验证有效的 Skill、MCP、Hook、规则和评测集版本化,并明确其适用任务、质量要求与维护责任,避免“能用一次”的经验被无边界扩散。


  • 基于结果决定投入与推广:按任务类型持续比较不同 Harness 方案的验收通过率、人工介入、失败重试、返工、资源消耗和后续缺陷,判断哪些能力应推广、优化、收窄或停用。


组织视角关注的不是“Agent 看起来是否聪明”,也不只是单次调用成本,而是能否把分散的执行活动转化为可验证的交付证据,并据此以可控的质量、风险和成本持续扩大有效能力的覆盖范围。


03.png


Better Harness 的初步尝试:从执行数据走向任务反馈


前面讨论的个人协作、团队复用和企业运营,最终都依赖同一个前提:我们能否知道一次任务是如何完成的、最终产生了什么结果,以及其中哪些能力真正发挥了作用。一次完整任务并不只发生在 Agent 的对话窗口中,而是穿过四层相互连接的 Harness:


image (11).png


向下,组织和团队目标被转化为任务边界、验收条件、上下文、工具与规则,由 Agent 完成计划、执行、验证和恢复;向上,真实产物经过自动验证或人工验收后形成任务证据,并将反复验证有效的方法沉淀为 Skill、MCP、Hook、规则或任务模板,为团队复用和组织决策提供依据。


这也是 Better Harness Dashboard 想做的事情,尝试把分散的 Agent 执行记录转化为可观察的任务反馈,以降低人与 Agent 的摩擦,从而让组织减少 token/credits 的浪费,以放在更有价值的任务上。


目前,Dashboard 已能跨项目查看 Skill、MCP、模型、Token 和工具调用等活动,帮助个人和团队识别能力是否被使用、使用发生在哪些阶段,以及是否存在异常消耗或执行摩擦。


image (12).png


但“被调用”并不等于“有效”。下一步需要把这些活动与任务意图、验收条件、真实产物和人工验收连接起来,逐步回答:


  • 任务是否真正通过验收?对应的 Edit 文件工具的调用,引发的提交是不是在对应的 release 版本中。


  • Skill 和 MCP 是否用在了正确阶段?在  Skill、MCP 执行过程中有多少的调用失败、错误场景,应该要合理的统计进来,以便反馈给发布者进行改进,减少额外的 token 消耗。


  • 哪些消耗没有转化为有效进展?是否存在消耗巨大的无效长程任务等。


  • 哪些经验值得沉淀为团队 Harness 资产?诸如于在当前阶段 400k 的上下文能达到最好的成本和效果平衡等。


因此,Dashboard 不是最终目标,而是任务反馈的观察入口。现阶段最重要的,是先把执行活动与真实结果连接起来,为持续改进 Harness、降低合格任务的整体成本建立基础。后续,则可以结合这些经验和教训,将更多的最佳实践分享给更多的团队。


04.png


欢迎体验 Better Harness


Better Harness 当前仍在快速演进。你可以先在本地运行 Harness UI,看看它如何读取项目中的 Agent、Skill、MCP 和任务数据:


git clone https://github.com/QoderAI/better-harness.git
cd better-harness
npm install
npm run harness-ui:dev


访问 http://127.0.0.1:3410 查看 Dashboard。然后,一起探索一些有意思的话题:


  • 连接 Session、任务历程、代码变更与交付结果,建立跨 Agent 的任务证据链。
  • 从多个任务中识别可复用的工作模式,并沉淀为可追踪的 Harness Issue。
  • 通过版本化组件、评测集和受控实验,验证 Skill、MCP 与规则等改动是否有效。
  • 完善成本与路由评估、长期任务基准,以及不同 Agent 和操作系统的真实验证。


欢迎提交 Issue、贡献 Adapter,或参与 Better Harness 的设计与验证。

目录
相关文章
|
27天前
|
人工智能 安全 IDE
Qoder CN v1.4.1完整实战指南:Agent式AI编程全流程拆解,从本地部署到企业级落地实操教程
Qoder CN v1.4.1最大的价值,是把AI编码从“代码片段生成”升级为完整Agent式工程任务执行。借助Quest任务引擎、RepoWiki记忆知识库、MCP工具扩展、Hooks安全机制,开发者只需要描述业务需求,智能体自主完成需求拆解、多文件修改、命令执行、测试验证完整链路。同时兼容CLI、IDE、插件多种形态,深度对接百炼平台各类订阅方案,既可以满足个人开发者提升开发效率,也具备完整权限管控、安全拦截、团队知识库能力,支撑企业规模化落地AI研发。
276 1
|
14天前
|
人工智能 IDE 测试技术
AI工程级编程工作台Qoder CN解析:Subagent子智能体、Repowiki知识库、命令案例与排坑指南
Qoder CN依托Quest2.0任务引擎、专家团多智能体协同、Repowiki工程知识库、终端沙箱安全隔离、Hook扩展机制,完成从简单代码补全向工程级自主开发工作台的跨越。提供原生IDE、主流IDE插件、CLI命令行多形态接入,兼容多款主流大模型,兼顾个人开发者与企业团队的研发场景。
176 0
|
27天前
|
安全 UED iOS开发
全新 Qoder 桌面端,现已支持移动端控制
Qoder移动端全新升级:支持手机语音发起任务,本地文件直连编码;实时跟进多线程任务,锁屏处理授权;图文/PDF/HTML/Markdown等产物手机直览;企业级安全管控,保障代码不外泄。效率与安全兼得。
222 0
|
28天前
|
人工智能 前端开发 架构师
Qoder Agent SDK 专场,把 Qoder 的 Harness 装进你的产品
Qoder Agent SDK集成专场,邀请Qoder 解决方案专家和阿里前端技术专家详解如何将成熟Agent执行内核以SDK形式快速嵌入自有产品。涵盖SDK开放方案、PAW业务能力落地实践及深度案例,助力产品负责人、架构师高效决策“自研 or 集成”。9月8日16:00直播!
191 0
|
17天前
|
人工智能 自然语言处理 API
Qoder Cloud Agents:10分钟,搭建你的专属 Agent
Qoder Cloud Agents 是Qoder推出的全托管Agent平台,支持复杂任务云端执行与实时反馈。其Forward层提供开箱即用的业务集成能力,涵盖身份管理、IM接入、文件存储、技能复用、实时/批量处理及评测观测等,助力开发者10分钟快速搭建专属Agent原型。
202 0
Qoder Cloud Agents:10分钟,搭建你的专属 Agent
|
29天前
|
人工智能
Qoder CN AI产品界的笑话
赠送的300Credits只改了24行代码
|
25天前
|
IDE 开发工具
Qoder 上线 Sonus 模型,Computer Use 能力全面增强
Qoder国际版上线全新内置大模型Sonus(/ˈsoʊnəs/),全球领先,专精超长任务执行与电脑操作(Computer Use)。配合Qoder桌面端0.2.3版本,可自主完成编程、金融建模、科研及表格制作等复杂工作。现全面支持Qoder全系产品,效率提升3.2倍。
2086 9
Qoder 上线 Sonus 模型,Computer Use 能力全面增强
|
20天前
|
IDE 开发工具
每日重置开启!每天领 500 Credits,体验 Sonus
Qoder国际版推出「每日重置」活动:9月15–19日,付费用户每日12:00可领500 Credits Sonus模型资源包(计费3.2x),次日12:00失效,不累计不补领。
660 0
|
25天前
|
人工智能 运维 IDE
阿里云Qoder系列子产品:Qoder CN、QoderWork CN、Qoder CN CLI、QoderWake CN对比与选择参考
Qoder CN、QoderWork CN、Qoder CN CLI、QoderWake CN 均属于 Qoder CN 系列产品,是同一产品家族下面向不同使用场景的子产品,个人版订阅一份即可在全系列产品间通用,Credits 跨产品共享。四者在核心场景、产品形态、交互方式和典型能力上存在明确分工:Qoder CN(IDE)面向软件开发全流程,QoderWork CN 面向日常办公与知识处理,Qoder CN CLI 面向终端原生开发与运维,QoderWake CN 面向岗位级数字员工的 7×24 自主运转。
|
24天前
|
前端开发 IDE Android开发
Qoder 上新 Mobile Use,开始验证移动端应用
Computer Use 已经可以操作电脑,Browser Use 可以进入正在使用的浏览器。Qoder 推出 Mobile Use 插件(Beta),在安卓、鸿蒙与 iOS 上将代码修改接入真机或模拟器,完成运行、交互与结果确认。
260 1

热门文章

最新文章