组织级 Harness 的建设路径:从 Better Harness 的实践启程

简介: Better Harness 是面向 AI 编程代理(Agent)的观测与治理框架,聚焦“单点做成→团队复制→规模运营”三阶段演进。它串联跨 Agent、项目与设备的任务证据链,将执行数据转化为可验证、可复用、可治理的交付能力,助力个人提效、团队沉淀实践、组织规模化交付。

iwEcAqNwbmcDAQTRA3UF0QF5BrBzBZdvQwixPwpxf23Qo90AB9MAAAABV6m8SQgACaJpbQoAC9IAB9f2.png


在 Better Harness 中,我们构建了一套分析体系,用于理解 Agent 的执行过程及其所处的工程环境。对应的开源版本,也已经支持从十余种 Coding Agent 中读取并分析不同层级的本地数据。但随着开发者开始并行使用多个 Agent、维护多个项目,并在不同设备间切换,核心问题不仅仅是:如何将分散的数据汇总?


真正的问题是:如何将分布在不同 Agent、项目和机器上的执行数据串联起来,形成一条从需求到验证的完整任务链路?又如何让这套能力不仅帮助个人更好地完成任务,也帮助团队把方法复用,并最终支撑组织规模化地交付?


这也是我们正在尝试探索的方向:让 Agent 不只是“会完成一次编码任务”,而是逐渐成为一种可验证、可复制、可治理、可运营的交付能力


01.png


为什么:Agent 的挑战正在从“单点做成”走向“规模运营”


在使用一个新的 Agent 的时,通常我们只关心一个问题:它能不能把眼前的任务完成?然而一次成功,并不等于形成了稳定能力,所以在构建 Agent Harness,我们需要构建持续丰富的测试集来评测。


同样的任务交给另一位开发者、另一个 Agent、另一个项目,或者换到另一台机器上,结果可能完全不同。与此同时,上下文、工具、权限、项目规范、Skill、MCP、模型和验收方式中的任何差异,都可能改变最终结果。


因此,Agent 能力要真正进入团队和组织,需要经历三个阶段:


image (9).png


  • 单点做成关注的是:这一次任务需要怎样的上下文、知识和工具能力等,才能产生可靠的结果产物。
  • 团队复制关注的是:一次成功中的哪些做法,可以沉淀为 Skill、模板、MCP 服务和质量规则。
  • 规模运营关注的是:这些能力如何通过 Skill 市场、 MCP 网关、评测体系和模型网关,被安全地提供给更多团队。


这条路径对应三个逐步升级的问题,一次任务能力能不能做好,同类任务能不能稳定复用,成熟能力能不能安全、经济地规模化运行。


要回答这些问题,仅仅统计 Session 数量、Token 消耗或者工具调用次数是不够的,还需要建立围绕任务结果的采集与反馈机制,把 Skill 与 MCP 的执行过程、验收结果和资源消耗连接起来,再据此优化 Harness 资产、改进团队实践、补齐个人能力,最终降低完成一次合格任务所需要的整体成本。


02.png


关注点驱动:不同层级,需要不同的 Harness


随着 Builder 从个人走向团队和企业,Harness 解决的问题也随之变化:个人首先需要把一次 Agent 协作做好;团队需要让有效的方法稳定复用;企业则需要让成熟能力在安全与成本可控的前提下规模化运行。因此,Harness 的能力重点也应当分层设计。


image (10).png


个人:把一次 Agent 协作做好


今天,人人都可以成为 Builder,每天指挥多个 Agent 工作。对于个人而言,最直接的问题是:怎样让 Agent 一次把活干好?所以,我们需要:


  • 先把任务说清楚,再让 Agent 动手明确问题、改动范围、不做什么、交付物、验收方式和风险点,即我们的 spec 文档上的内容;如果 Agent 还无法准确理解完成条件,就不进入执行/实现阶段。


  • 按任务准备上下文和工具提供当前任务真正需要的项目说明、架构知识、领域知识和技能,只开放必要的目录、命令、工具与网络权限。


  • 围绕真实产物与 Agent 协作直接在代码 diff、网页或文档上标注、修改和验收,同时要求 Agent 给出验证结果(截图、测试等 )。


因此,个人视角关注的是能否还原一次任务从定义、执行到最终验收的完整过程。


团队:把个人经验变成稳定的工程实践


而对于来说团队,关注的层面就有所不同,更关注的是如何把个人经验变成稳定的工程实践?


  • 让环境可以被 Agent 操作搭建统一安装、启动、测试和调试方式,使 Agent 能快速进入验证阶段、复现问题,并在失败后恢复。诸如于通过 Npm、Gradle 之类的标准构建工具,定义好构建任务。


  • 让规则可以被自动检查为架构、安全、测试和视觉要求配置对应的检查机制与验收方式,让规则真正进入执行流程。诸如于,能通过 Playwright CLI、Agent Browser 访问环境,来进行视觉检查。


  • 让任务经验可以被持续沉淀关联需求、会话、文件变化、测试、提交和评审证据,将反复验证有效的做法沉淀为项目规范、Skill、脚本、Hook、任务模板或质量门禁。


团队视角关注的不是某一次任务偶然成功,而是能否通过统一环境、自动检查和 Harness 资产,把一类任务持续做稳。


组织:让 Agent 能力以可接受的成本规模化运行


当 Harness 进入多团队、多项目和多设备协作后,组织需要解决的,不再只是某个 Agent 是否完成任务,而是如何基于跨任务、跨团队的真实证据,持续治理和优化交付能力:


  • 建立跨 Agent 的任务证据链关联需求、任务定义、Agent 会话、上下文与工具使用、代码变更、验证结果、人工验收和后续缺陷,使一次交付能够被还原、追溯和复盘。


  • 治理可复用的 Harness 能力结合轨迹分析,将经验证有效的 Skill、MCP、Hook、规则和评测集版本化,并明确其适用任务、质量要求与维护责任,避免“能用一次”的经验被无边界扩散。


  • 基于结果决定投入与推广按任务类型持续比较不同 Harness 方案的验收通过率、人工介入、失败重试、返工、资源消耗和后续缺陷,判断哪些能力应推广、优化、收窄或停用。


组织视角关注的不是“Agent 看起来是否聪明”,也不只是单次调用成本,而是能否把分散的执行活动转化为可验证的交付证据,并据此以可控的质量、风险和成本持续扩大有效能力的覆盖范围。


03.png


Better Harness 的初步尝试:从执行数据走向任务反馈


前面讨论的个人协作、团队复用和企业运营,最终都依赖同一个前提:我们能否知道一次任务是如何完成的、最终产生了什么结果,以及其中哪些能力真正发挥了作用。一次完整任务并不只发生在 Agent 的对话窗口中,而是穿过四层相互连接的 Harness:


image (11).png


向下,组织和团队目标被转化为任务边界、验收条件、上下文、工具与规则,由 Agent 完成计划、执行、验证和恢复;向上,真实产物经过自动验证或人工验收后形成任务证据,并将反复验证有效的方法沉淀为 Skill、MCP、Hook、规则或任务模板,为团队复用和组织决策提供依据。


这也是 Better Harness Dashboard 想做的事情,尝试把分散的 Agent 执行记录转化为可观察的任务反馈,以降低人与 Agent 的摩擦,从而让组织减少 token/credits 的浪费,以放在更有价值的任务上。


目前,Dashboard 已能跨项目查看 Skill、MCP、模型、Token 和工具调用等活动,帮助个人和团队识别能力是否被使用、使用发生在哪些阶段,以及是否存在异常消耗或执行摩擦。


image (12).png


但“被调用”并不等于“有效”。下一步需要把这些活动与任务意图、验收条件、真实产物和人工验收连接起来,逐步回答:


  • 任务是否真正通过验收?对应的 Edit 文件工具的调用,引发的提交是不是在对应的 release 版本中。


  • Skill 和 MCP 是否用在了正确阶段?在  Skill、MCP 执行过程中有多少的调用失败、错误场景,应该要合理的统计进来,以便反馈给发布者进行改进,减少额外的 token 消耗。


  • 哪些消耗没有转化为有效进展?是否存在消耗巨大的无效长程任务等。


  • 哪些经验值得沉淀为团队 Harness 资产?诸如于在当前阶段 400k 的上下文能达到最好的成本和效果平衡等。


因此,Dashboard 不是最终目标,而是任务反馈的观察入口。现阶段最重要的,是先把执行活动与真实结果连接起来,为持续改进 Harness、降低合格任务的整体成本建立基础。后续,则可以结合这些经验和教训,将更多的最佳实践分享给更多的团队。


04.png


欢迎体验 Better Harness


Better Harness 当前仍在快速演进。你可以先在本地运行 Harness UI,看看它如何读取项目中的 Agent、Skill、MCP 和任务数据:


git clone https://github.com/QoderAI/better-harness.git
cd better-harness
npm install
npm run harness-ui:dev


访问 http://127.0.0.1:3410 查看 Dashboard。然后,一起探索一些有意思的话题:


  • 连接 Session、任务历程、代码变更与交付结果,建立跨 Agent 的任务证据链。
  • 从多个任务中识别可复用的工作模式,并沉淀为可追踪的 Harness Issue。
  • 通过版本化组件、评测集和受控实验,验证 Skill、MCP 与规则等改动是否有效。
  • 完善成本与路由评估、长期任务基准,以及不同 Agent 和操作系统的真实验证。


欢迎提交 Issue、贡献 Adapter,或参与 Better Harness 的设计与验证。

目录
相关文章
|
4天前
|
人工智能 自然语言处理 安全
阿里云AI数智鉴密:AI 生成内容如何拿到一张"防篡改的身份证"
隐形水印 + C2PA签名:让AI生成内容“持证上岗”。
1125 0
|
13天前
|
人工智能 自然语言处理 安全
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
本文聚焦阿里云2026年推出的三款自研AI办公产品,清晰拆解千问办公、Qoder Teams、Qoder CN的差异化定位与能力边界:千问办公主打职场全场景提效,支持自然语言指令一键完成PPT生成、数据分析等高频办公任务;Qoder Teams面向程序员团队,深度整合AI代码生成、团队协同与企业知识库能力;Qoder CN则专为金融、政务等强合规场景打造,实现数据不出境与VPC私有化部署。文章同步给出分场景选型指南与最新活动定价,帮助不同类型的企业按需组合产品,实现业务岗、研发岗与强合规场景的AI能力全覆盖。
3740 4
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
|
4天前
|
人工智能 运维 BI
阿里云千问办公QwenWork深度解析:基于Qwen3.8,六大核心能力重构企业全自动化工作流与计费选型指南
传统AI办公工具大多停留在对话问答、文档摘要、简单文案生成层面,只能完成单点碎片化任务,无法自主拆解复杂业务流程,很难串联多工具、多文档、外部业务系统完成端到端完整工作交付。很多企业在落地AI办公的时候,需要组合多款不同工具,来回切换界面,手动复制粘贴中间结果,智能化改造落地门槛居高不下。千问办公QwenWork是整合多款智能体产品能力打造的一体化企业办公智能体平台,底层基座依托Qwen3.8大模型,打通桌面端Agent、云端Agent、企业协同Agent三种运行形态,不再局限简单问答,接收业务目标之后自主拆解任务步骤,调用各类工具,处理文档、表格、浏览器自动化、数据查询,直接输出可交付的办公
1366 0
|
4天前
|
人工智能 安全 前端开发
刚刚 GPT-6 Astra 发布,全球最强,AGI 时代到来!
OpenAI 正式推出 GPT-6 Astra 模型,带大家看看这次 GPT 有哪些提升,跟 Claude Fable 5.1 有什么差距?AI 编程能力如何?AGI 真的来了么?
613 0
|
10天前
|
人工智能 并行计算 数据可视化
秋叶ComfyUI-AKI最新整合包|完整部署教程+核心指令手册
秋叶ComfyUI-AKI一键整合包,国内适配最优、稳定性最强的商用/学习级版本:全封装虚拟环境、预装90%常用节点、内置绘世启动器与成熟工作流,免配置、零依赖、解压即用,完美兼顾新手入门与专业批量生产需求。(239字)
|
14天前
|
人工智能 Linux iOS开发
Ollama使用教程:Ollama官网下载、Ollama本地部署大模型(2026最新)
Ollama 是一款免费开源的本地大模型运行工具,支持在 Windows/macOS/Linux 上离线运行 Qwen、DeepSeek、Llama 等主流开源模型,数据不出本机、隐私安全。提供 OpenAI 兼容 API,命令行一键拉取/运行/管理模型,无需联网,无调用限制,是开发者与 AI 爱好者部署本地 AI 助手的理想选择。(239 字)

热门文章

最新文章