组织级 Harness 的建设路径:从 Better Harness 的实践启程

简介: Better Harness 是面向 AI 编程代理(Agent)的观测与治理框架,聚焦“单点做成→团队复制→规模运营”三阶段演进。它串联跨 Agent、项目与设备的任务证据链,将执行数据转化为可验证、可复用、可治理的交付能力,助力个人提效、团队沉淀实践、组织规模化交付。

iwEcAqNwbmcDAQTRA3UF0QF5BrBzBZdvQwixPwpxf23Qo90AB9MAAAABV6m8SQgACaJpbQoAC9IAB9f2.png


在 Better Harness 中,我们构建了一套分析体系,用于理解 Agent 的执行过程及其所处的工程环境。对应的开源版本,也已经支持从十余种 Coding Agent 中读取并分析不同层级的本地数据。但随着开发者开始并行使用多个 Agent、维护多个项目,并在不同设备间切换,核心问题不仅仅是:如何将分散的数据汇总?


真正的问题是:如何将分布在不同 Agent、项目和机器上的执行数据串联起来,形成一条从需求到验证的完整任务链路?又如何让这套能力不仅帮助个人更好地完成任务,也帮助团队把方法复用,并最终支撑组织规模化地交付?


这也是我们正在尝试探索的方向:让 Agent 不只是“会完成一次编码任务”,而是逐渐成为一种可验证、可复制、可治理、可运营的交付能力


01.png


为什么:Agent 的挑战正在从“单点做成”走向“规模运营”


在使用一个新的 Agent 的时,通常我们只关心一个问题:它能不能把眼前的任务完成?然而一次成功,并不等于形成了稳定能力,所以在构建 Agent Harness,我们需要构建持续丰富的测试集来评测。


同样的任务交给另一位开发者、另一个 Agent、另一个项目,或者换到另一台机器上,结果可能完全不同。与此同时,上下文、工具、权限、项目规范、Skill、MCP、模型和验收方式中的任何差异,都可能改变最终结果。


因此,Agent 能力要真正进入团队和组织,需要经历三个阶段:


image (9).png


  • 单点做成关注的是:这一次任务需要怎样的上下文、知识和工具能力等,才能产生可靠的结果产物。
  • 团队复制关注的是:一次成功中的哪些做法,可以沉淀为 Skill、模板、MCP 服务和质量规则。
  • 规模运营关注的是:这些能力如何通过 Skill 市场、 MCP 网关、评测体系和模型网关,被安全地提供给更多团队。


这条路径对应三个逐步升级的问题,一次任务能力能不能做好,同类任务能不能稳定复用,成熟能力能不能安全、经济地规模化运行。


要回答这些问题,仅仅统计 Session 数量、Token 消耗或者工具调用次数是不够的,还需要建立围绕任务结果的采集与反馈机制,把 Skill 与 MCP 的执行过程、验收结果和资源消耗连接起来,再据此优化 Harness 资产、改进团队实践、补齐个人能力,最终降低完成一次合格任务所需要的整体成本。


02.png


关注点驱动:不同层级,需要不同的 Harness


随着 Builder 从个人走向团队和企业,Harness 解决的问题也随之变化:个人首先需要把一次 Agent 协作做好;团队需要让有效的方法稳定复用;企业则需要让成熟能力在安全与成本可控的前提下规模化运行。因此,Harness 的能力重点也应当分层设计。


image (10).png


个人:把一次 Agent 协作做好


今天,人人都可以成为 Builder,每天指挥多个 Agent 工作。对于个人而言,最直接的问题是:怎样让 Agent 一次把活干好?所以,我们需要:


  • 先把任务说清楚,再让 Agent 动手明确问题、改动范围、不做什么、交付物、验收方式和风险点,即我们的 spec 文档上的内容;如果 Agent 还无法准确理解完成条件,就不进入执行/实现阶段。


  • 按任务准备上下文和工具提供当前任务真正需要的项目说明、架构知识、领域知识和技能,只开放必要的目录、命令、工具与网络权限。


  • 围绕真实产物与 Agent 协作直接在代码 diff、网页或文档上标注、修改和验收,同时要求 Agent 给出验证结果(截图、测试等 )。


因此,个人视角关注的是能否还原一次任务从定义、执行到最终验收的完整过程。


团队:把个人经验变成稳定的工程实践


而对于来说团队,关注的层面就有所不同,更关注的是如何把个人经验变成稳定的工程实践?


  • 让环境可以被 Agent 操作搭建统一安装、启动、测试和调试方式,使 Agent 能快速进入验证阶段、复现问题,并在失败后恢复。诸如于通过 Npm、Gradle 之类的标准构建工具,定义好构建任务。


  • 让规则可以被自动检查为架构、安全、测试和视觉要求配置对应的检查机制与验收方式,让规则真正进入执行流程。诸如于,能通过 Playwright CLI、Agent Browser 访问环境,来进行视觉检查。


  • 让任务经验可以被持续沉淀关联需求、会话、文件变化、测试、提交和评审证据,将反复验证有效的做法沉淀为项目规范、Skill、脚本、Hook、任务模板或质量门禁。


团队视角关注的不是某一次任务偶然成功,而是能否通过统一环境、自动检查和 Harness 资产,把一类任务持续做稳。


组织:让 Agent 能力以可接受的成本规模化运行


当 Harness 进入多团队、多项目和多设备协作后,组织需要解决的,不再只是某个 Agent 是否完成任务,而是如何基于跨任务、跨团队的真实证据,持续治理和优化交付能力:


  • 建立跨 Agent 的任务证据链关联需求、任务定义、Agent 会话、上下文与工具使用、代码变更、验证结果、人工验收和后续缺陷,使一次交付能够被还原、追溯和复盘。


  • 治理可复用的 Harness 能力结合轨迹分析,将经验证有效的 Skill、MCP、Hook、规则和评测集版本化,并明确其适用任务、质量要求与维护责任,避免“能用一次”的经验被无边界扩散。


  • 基于结果决定投入与推广按任务类型持续比较不同 Harness 方案的验收通过率、人工介入、失败重试、返工、资源消耗和后续缺陷,判断哪些能力应推广、优化、收窄或停用。


组织视角关注的不是“Agent 看起来是否聪明”,也不只是单次调用成本,而是能否把分散的执行活动转化为可验证的交付证据,并据此以可控的质量、风险和成本持续扩大有效能力的覆盖范围。


03.png


Better Harness 的初步尝试:从执行数据走向任务反馈


前面讨论的个人协作、团队复用和企业运营,最终都依赖同一个前提:我们能否知道一次任务是如何完成的、最终产生了什么结果,以及其中哪些能力真正发挥了作用。一次完整任务并不只发生在 Agent 的对话窗口中,而是穿过四层相互连接的 Harness:


image (11).png


向下,组织和团队目标被转化为任务边界、验收条件、上下文、工具与规则,由 Agent 完成计划、执行、验证和恢复;向上,真实产物经过自动验证或人工验收后形成任务证据,并将反复验证有效的方法沉淀为 Skill、MCP、Hook、规则或任务模板,为团队复用和组织决策提供依据。


这也是 Better Harness Dashboard 想做的事情,尝试把分散的 Agent 执行记录转化为可观察的任务反馈,以降低人与 Agent 的摩擦,从而让组织减少 token/credits 的浪费,以放在更有价值的任务上。


目前,Dashboard 已能跨项目查看 Skill、MCP、模型、Token 和工具调用等活动,帮助个人和团队识别能力是否被使用、使用发生在哪些阶段,以及是否存在异常消耗或执行摩擦。


image (12).png


但“被调用”并不等于“有效”。下一步需要把这些活动与任务意图、验收条件、真实产物和人工验收连接起来,逐步回答:


  • 任务是否真正通过验收?对应的 Edit 文件工具的调用,引发的提交是不是在对应的 release 版本中。


  • Skill 和 MCP 是否用在了正确阶段?在  Skill、MCP 执行过程中有多少的调用失败、错误场景,应该要合理的统计进来,以便反馈给发布者进行改进,减少额外的 token 消耗。


  • 哪些消耗没有转化为有效进展?是否存在消耗巨大的无效长程任务等。


  • 哪些经验值得沉淀为团队 Harness 资产?诸如于在当前阶段 400k 的上下文能达到最好的成本和效果平衡等。


因此,Dashboard 不是最终目标,而是任务反馈的观察入口。现阶段最重要的,是先把执行活动与真实结果连接起来,为持续改进 Harness、降低合格任务的整体成本建立基础。后续,则可以结合这些经验和教训,将更多的最佳实践分享给更多的团队。


04.png


欢迎体验 Better Harness


Better Harness 当前仍在快速演进。你可以先在本地运行 Harness UI,看看它如何读取项目中的 Agent、Skill、MCP 和任务数据:


git clone https://github.com/QoderAI/better-harness.git
cd better-harness
npm install
npm run harness-ui:dev


访问 http://127.0.0.1:3410 查看 Dashboard。然后,一起探索一些有意思的话题:


  • 连接 Session、任务历程、代码变更与交付结果,建立跨 Agent 的任务证据链。
  • 从多个任务中识别可复用的工作模式,并沉淀为可追踪的 Harness Issue。
  • 通过版本化组件、评测集和受控实验,验证 Skill、MCP 与规则等改动是否有效。
  • 完善成本与路由评估、长期任务基准,以及不同 Agent 和操作系统的真实验证。


欢迎提交 Issue、贡献 Adapter,或参与 Better Harness 的设计与验证。

目录
相关文章
|
16天前
|
人工智能
大学生专属福利!免费领 1 个月 Qoder CN 专业版
开学季高校学生福利:完成阿里云学生认证,领300元代金券,即可0元兑换1个月Qoder CN个人专业版,支持Qwen3.8、GLM-5.3、DeepSeek-V4等多款国产大模型,助力AI编程与学习。
835 1
大学生专属福利!免费领 1 个月 Qoder CN 专业版
|
6天前
|
人工智能
Qoder 实训营上线!每周四两小时,一期拆一个真实卡点
你是否也遇到AI生成代码“看似正确却不敢合入主干”的困境?本实训营直击真实卡点,每周四16:00–18:00,手把手带你厘清AI编码的落地边界、验收标准与协作规范,让AI真正融入核心开发流程。
97 0
Qoder 实训营上线!每周四两小时,一期拆一个真实卡点
|
8天前
|
人工智能 IDE 开发工具
全新 Qoder 线上发布会,今晚 19:00 不见不散!
9月1日19:00,Qoder线上发布会直播!聚焦全新 Qoder,产品、研发、设计三位成员深度解读,助你厘清 Qoder IDE与新 Qoder 的适用场景。锁定视频号「Qoder.ai」
173 1
|
1月前
|
人工智能 定位技术 API
高德汽车业务 AI Native 工程实践|基于 Qoder 的业务知识工程建设实践
高德企业业务通过 Qoder 知识引擎构建业务知识的"生产—调优—更新—消费"体系,同一类错误不再发生第二次,任务一次性通过率从 37.3% 提升至 61.5%。
292 0
高德汽车业务 AI Native 工程实践|基于 Qoder 的业务知识工程建设实践
|
2天前
|
SQL 人工智能 前端开发
QoderWake 1.0 正式发布:从桌面里的 Agent,到工作现场的数字员工
QoderWake v1.0正式发布:企业级数字员工团队平台。支持“一句话建岗”,预置10类特训岗位;Waker常驻钉钉/飞书群,@即响应、自动协作、跨任务记忆;具备定时/事件/API多触发方式与统一任务看板;已沉淀27.6万条记忆、12.3万项技能,助力组织实现人机协同增效。
590 0
|
28天前
|
人工智能 数据可视化 安全
Qoderian 来了:让 Qoder CLI 住进你的 Obsidian 知识库
Qoderian 是一款开源 Obsidian 插件,让 Qoder CLI 直接在知识库内运行,无需切终端。支持网页剪藏自动提炼、归类总结、生成思维导图与手绘风格流程图(配合 Excalidraw),大幅提升信息整理效率。MIT 协议,免费易用。
296 0
|
6天前
Qoder 国际版:「经济」档位面向所有付费用户开放免费使用
Qoder国际版推出付费用户专享福利:即日起,“经济”档位免费畅用(计费系数0.0x),原生多模态,满足日常开发需求。覆盖所有个人、Teams及企业版订阅。叠加9月限时大促:新订Pro/Pro+ Credits买一送一,续费升级加赠1000 Credits,截止9月30日。
172 0
|
8天前
|
人工智能 数据可视化 前端开发
开学季,快来领取你的 AI 学习搭子!
开学季,Qoder 为学生送上专属福利:免费领取1个月CN专业版,助力开题、PPT、数据分析与简历制作;精选文献写作、图表生成、Excel分析、作品集设计等实用Skill;9.1–9.15小红书带话题#我的学习搭子Qoder发帖,即赠500积分!
131 0
|
12天前
New Qoder 正式上线|晒出你的「先行者」故事,最高可得1万 Credits
全新Qoder上线!首次登录用户可获专属「Qoder先行者」徽章及8位编号,纪念相遇起点。参与小红书活动,分享真实使用故事并带话题#Qoder先行者#NewQoder,即可赢Credits奖励,最高10000!
329 0
|
1月前
|
人工智能 JSON Java
插件上新:给鸿蒙开发者的 Cangjie 工具箱
Cangjie 插件上线 Qoder Desktop,集成570+篇仓颉官方文档,覆盖语言特性、标准库、工具链等6大技能。AI写代码时自动查文档,确保语法正确、API精准、编译通过,专为鸿蒙开发者打造。
208 1

热门文章

最新文章