Agent 的交付过程,现在可以像录像一样回放

简介: Better Harness 是开源工具,用于分析 Coding Agent 的完整交付链路。它将需求(Intent)、会话(Process)与代码提交(Output)串联,在本地生成只读的 Harness Inspector 页面,支持 Workbench、Trace、Replay 三视角追溯任务全貌,助力沉淀可复用 SKILL。

9B532CD3-6CE4-4F3E-BC2A-9385518914DA.png


Better Harness 是我们开源的一套工具,用来检查 Coding Agent 的工作方式,并把有效经验沉淀成可复用的 SKILL。上线以来,我们一直在做一件事:从 Agent 的会话中识别重复出现的工作路径,判断哪些值得进一步沉淀。做起来以后发现,这件事远比“分析会话”复杂。


对于一次软件开发任务来说,Agent 的行为并不是孤立发生的。它从一个需求或者用户故事开始,经过对需求的理解、上下文探索、代码修改和验证,最终才形成一次可以被评审的代码贡献。只看中间的 Session,我们能看到 Agent 做了什么,却很难判断这些行为为什么发生,又有哪些行为最终进入了交付。


因此,我们开始把一次 Agent 的交付理解成一条连续的链路。现在,只需要在项目目录执行:


npx @qoder-ai/better-harness inspector


就可以生成一个本地、只读的 Harness Inspector 页面,把当前项目中的 Agent Session、文件活动和 Commit 放到同一个交互界面里。


GitHub:https://github.com/QoderAI/better-harness


01.png


从 Session 到一次完整的交付过程


Harness Inspector 最初只是一个会话调试工具:帮助我们查看 Agent 说了什么、调用了哪些工具,以及修改了哪些文件。但随着 Session、文件活动和 Git 历史逐渐被连接起来,我们发现,值得观察的是一个更完整的问题:


一次软件变更如何从一个意图出发,经过 Agent 的执行,最终形成可以进入工程系统的产出。


Session 只是这条链路的中间部分。


从意图到产出的交付链


我们将一次 Coding Agent 的交付拆成三个连续、但边界不同的部分:


b691358b-948e-42ff-b554-b34ec8976625.png.png


  • 意图(Intent)是一次变化的语义化起点,例如用户的需求、Issue、Spec 或者是架构约束等,它们都是 Intent 的具体形态。


  • 过程(Process)体现的是这次变化发生的过程,对于 Agent 来说,主要体现为 Session 记录以及其中的搜索、读取、修改和验证


  • 产出(Output)则是 Agent 交付到工程系统的最终结果,现阶段最清晰的锚点就是代码 Commit。


所以,Spec、Session 和 Commit 并不是三个并列的抽象概念,它们分别是 Intent、Process 和 Output 在当前软件开发工具链中的可观察对象Harness Inspector 要做的,是重新建立这条从需求到提交的可追溯的交付链路


从叙述上看,它是一条连续的交付链;但在真实项目中,它更接近一张证据图。一个 Story 可能经历多个 Session,一段 Session 也可能涉及多个 Commit。


一个简单的示例:从 Spec 到 Commit


我们在 Better Harness 文档页创建了一个只读的公开样本(英文示例数据,不读取本地内容):https://qoderai.github.io/better-harness/inspector,其中最完整的一条是:


f85c16ae-aff9-453c-9b58-934a6b181c35.png.png


只看 Session,我们只能看到它是一串搜索、读取、修改和测试活动。很难确定它是否一直围绕最初的需求展开,也不知道其中哪些修改最终进入了代码库。单独看 Commit,我们虽然可以看到最终修改了哪些文件,却无法知道 Agent 在提交之前如何理解问题、建立上下文和完成验证。


当 Story、Session 和 Commit 被放到同一个界面后,这次变化才成为一段相对完整的交付过程:Story 说明为什么要修改,Session 展示修改是怎样发生的,Commit 则记录最后留下了什么。


把需求、Agent 行为和代码提交连接起来,让我们第一次能够从整体上检查一次交付。但打开一些包含数百次 Tool Call 的实际 Session 后,另一个问题很快出现了:能够把一次交付连接起来,并不意味着我们已经能够读懂它。


02.png


Harness Inspector 如何读懂一次 Agent 交付?


围绕 Better Harness 的 Harness 模型,我们将 Harness Inspector 定义为:


Harness Inspector 是一个面向 Agent 交付过程的本地、只读工作台。它将需求、Agent Session、文件活动和 Commit 放在同一个交互界面中,用来检查一次软件变化为什么发生、怎样发生,以及最终留下了什么。


Harness Inspector 以一次完整交付为中心,围绕从需求到提交的链路,提供了三种观察方式:


  • Workbench查看需求、Session 与 Commit 之间的关系;


  • Trace查看 Session 内部的工作结构;


  • Replay按照事件顺序重新观察任务如何展开。


简单来说,Workbench 看关系,Trace 看结构,Replay 看顺序三者共同帮助我们还原一个需求如何经过 Agent 的理解、探索、修改和验证,最终形成一次可以被评审的代码提交。


Workbench:连接需求、过程与产出


Workbench 是一次交付的整体视图。在左侧,我们可以看到触发这段 Session 的用户需求,以及执行过程中对目标的补充和调整;中间展示 Agent 在 Session 中发生的搜索、读取、工具调用和 Git 操作;右侧则是当前范围内观察到的 Commit,以及它最终修改的文件。


c27daa6d-7153-4318-8697-ef470fdfc221.png.png


它的重点在于展示需求、过程和产出之间已经观察到的关系。关系证据不足时,Inspector 会保留为候选或未映射,不会自动拼出一条看起来完整的交付路径。


Trace:把 Session 读成一条工作轨迹


Workbench 帮助我们找到一次交付,Trace 则进一步展开其中的 Session。


进入 Session 后,Trace 会按照 Turn 组织用户输入、中间回复、Tool Call 和文件活动,并通过顶部的时间轴连接事件在时间上的位置。点击某个区段可以跳转到对应调用,连续重复的活动也会被折叠,避免大量相似操作淹没关键变化。


928a26bc-35ca-43b2-b76c-27b0ff876ec4.png.png


Trace 只处理已经记录下来的行为,将它们重新组织成一条可以阅读的工作轨迹,帮助我们检查 Agent 如何搜索上下文、修改代码和执行验证。


Replay:沿事件顺序回看一次交付


Replay 则沿着已经保留的事件逐步回看任务如何展开。Reviewer 可以依次查看用户输入、Agent 回复、Tool Call、文件和 Commit,观察 Agent 在什么上下文中形成方向,又在什么时候进行了修改和验证。


bc3e5d51-e339-4ff4-8b99-c4d69358dcf9.png.png


它只是一次只读的证据回放,不会重新运行工具、恢复工作区或者继续原来的 Session;没有精确时间的内容,也只保留顺序,不会补充没有被记录的过程。Workbench 建立交付上下文,Trace 展开 Session 的工作轨迹,Replay 补充事件发生的顺序。三者共同把一次从需求到提交的 Agent 交付,变成可以逐层进入和检查的过程。


03.png


从交付过程中提炼可复用经验


看清一次交付,只是第一步。我们更关心的是:一段 Session 里,哪些做法值得进一步沉淀成 SKILL?


判断标准不在于某个 Tool Call 出现了多少次。Agent 反复读取同一个文件,可能只是没有获得足够的上下文;不断重试一条命令,也可能只是因为执行失败。这些高频动作未必是值得复用的经验,很多时候反而意味着 Agent 走了弯路。


更值得关注的,是那些在相似任务中反复出现,并且最终带来有效产出的工作路径。例如,Agent 如何从需求中划定修改范围,如何找到必要的上下文,又如何完成修改、执行验证并检查最终结果。把这些行为与对应的 Story、Session 和 Commit 对照起来,我们才能分辨哪些只是某次任务中的临时选择,哪些已经形成了相对稳定、可以迁移到其他任务中的做法。


因此,SKILL 自动沉淀的核心工作,是从多次交付中提炼共性,补充适用条件、执行步骤和验证方式。Inspector 首先要做的,就是把每次交付的来龙去脉保留下来,为后续的比较、提炼和验证提供依据。


04.png


结语:从看清交付开始


我们最初关注的是 Session,希望从中找到可以复用的工作路径。但 Session 只记录了交付过程的一部分:它能告诉我们 Agent 做了什么,却很难单独说明为什么这样做,以及这些行为最终留下了什么。


Harness Inspector 将需求、Session、文件活动和 Commit 串联起来,让一次 Agent 交付有迹可循。看清任务的来由、执行过程和最终结果,我们才可能从中分辨偶然行为与稳定经验,并把经过验证的做法沉淀成 SKILL。


对 Better Harness 来说,这只是 SKILL 自动演进的起点。


试一下:npx @qoder-ai/better-harness inspector


GitHub:https://github.com/QoderAI/better-harness

目录
相关文章
|
14天前
|
人工智能 定位技术 API
高德汽车业务 AI Native 工程实践|基于 Qoder 的业务知识工程建设实践
高德企业业务通过 Qoder 知识引擎构建业务知识的"生产—调优—更新—消费"体系,同一类错误不再发生第二次,任务一次性通过率从 37.3% 提升至 61.5%。
203 0
高德汽车业务 AI Native 工程实践|基于 Qoder 的业务知识工程建设实践
|
12天前
|
人工智能 JSON Java
插件上新:给鸿蒙开发者的 Cangjie 工具箱
Cangjie 插件上线 Qoder Desktop,集成570+篇仓颉官方文档,覆盖语言特性、标准库、工具链等6大技能。AI写代码时自动查文档,确保语法正确、API精准、编译通过,专为鸿蒙开发者打造。
128 1
|
13天前
|
人工智能 安全 语音技术
当语言被困住:我们和 Qoder 跑通了一条有尊严的表达链路
MeantByMe是一款由Qoder赋能的语音补全产品,专为失语患者设计:实时补全含糊话语,经用户确认后播报,守护表达权与尊严。五天内,三人小队借助Qoder知识引擎与多Agent协作,高效完成全栈开发。
111 0
当语言被困住:我们和 Qoder 跑通了一条有尊严的表达链路
|
14天前
|
监控 Shell API
Qoder CLI /loop 大升级:Agent 自调节奏,盯盘场景交给它就行了
Loop Engineering 新增动态唤醒机制:`/loop` 不再依赖固定间隔,Agent 可自主决定检查频率、触发时机与终止条件。支持 Monitor 事件秒级响应、三模式自动路由、TUI 管理面板及持久化任务,让盯盘、告警监控等弹性场景真正实现“交出判断权”。
193 0
|
15天前
|
人工智能 运维 机器人
服务10万阿里人的「答疑数字员工」,在 QoderWake 上岗了!
QoderWake推出「群聊答疑专员」数字员工——不止知识库+AI,更具备主动找人、自进化学习、低成本配置和自然交互能力。已在阿里内部服务10万人,答不出时精准求助专家,答对后自动沉淀知识,三步即可上岗,让答疑真正推进问题解决。
159 0
|
16天前
|
人工智能 IDE 安全
阿里云Qoder CN全解析:AI编码智能体全场景功能深度指南
阿里云Qoder CN(原灵码)是阿里云推出的全栈式AI智能体产品系列,定位为覆盖编码、办公、终端、云端的一体化AI开发与协作平台,以多模态编程、智能体自主执行、全端覆盖、企业级安全合规为核心优势,深度适配国内开发者与企业的研发、办公、运维全流程需求。平台内置多模型自由切换、工程级代码处理、智能体任务编排、多模态交互、企业知识库集成等核心能力,提供桌面IDE、JetBrains插件、CLI终端、云端智能体、桌面办公助手等全形态产品,实现“一个账号、全场景覆盖、Credits共享”的一体化体验,是国内领先的AI编码与智能体协作平台。本文从产品矩阵、核心能力、全端接入、实战代码、企业级特性、订阅方
234 2
|
18天前
|
人工智能 前端开发 数据库
一人用 Qoder 开十二个对话,五天写完全部代码
瑕玉Xiayu 在 AdventureX 黑客松比赛中开发了多智能体决策系统 Ludus,5 天时间 + 12 个 Qoder Agent 并行完成。系统以“可追溯、可审计、可复盘”为核心,通过规则先行、跨会话记忆、契约卡点保障质量,实现结构化决策支持。
245 0
人工智能 数据可视化 安全
127 0
|
18天前
|
人工智能 监控 安全
从 Context 到 Graph:Agent 工程的四个层次
本文系统解析AI Agent工程演进的四大层次:Context(上下文管理)、Harness(执行环境构建)、Loop(目标驱动的持续执行)与Graph(多Agent协作编排)。以Qoder CLI和Qoder Cloud Agents为例,阐明各层如何随模型能力提升而动态迁移工程重心,体现“本质未变、瓶颈转移”的演进逻辑。
213 0
|
18天前
|
Web App开发 监控 前端开发
你的 Chrome,现在也是 Qoder Agent 的工作台
Qoder Desktop 新增「Connect My Chrome」功能:安装扩展后,Browser Agent 可直连用户的 Chrome,复用当前标签页、登录态及所有扩展(如React DevTools、uBlock Origin),无需重复登录或切换窗口,大幅提升调试与协作效率。
149 0