Agent 的第一次 Demo 跑通，往往是最容易让人高估自己的时刻。一个循环、几个工具、一段提示词，模型就能串联多步动作、产出像模像样的结果。但把同一个 Agent 放进真实业务，撑不过一周就会暴露问题：今天调对了工具明天调错，这个输入稳定那个输入漂移，单任务能跑多任务就崩，人一离开就没人知道它到底在干什么。“能跑”证明的是模型能力，“敢用”要求的是工程控制。 两者之间隔着的不是更强的模型，而是四个必须建立起来的控制面：评测、Harness、Skill、调度。控制面的意义在于——它不直接产生智能，但决定了智能的输出是否可判断、可约束、可复现、可规模化。
控制面一：评测——把“好坏”变成可门禁的事实
第一个控制面回答“怎么判断它做得对不对”。没有这个控制面，后面三个控制面的迭代全是盲调。
大多数团队的第一反应是“跑几个 Case 人看一眼”，但这在工程上不成立。Temperature 采样让同一输入每次输出不同，工具返回的非确定性让路径不可复现，多轮上下文漂移让终态正确可能只是运气。单跑一次比对答案，评测的其实是这一次采样，不是这个 Agent。
建立评测控制面，需要三层同时落地。
第一层是评测目标的分层。 美团图灵团队把评测拆成 Result（交付物是否可用）、Trajectory（路径是否收敛可复现）、Efficiency（Latency、Token、步数、成本）、Risk（越权、泄露、红线，一票否决）。核心洞察是：两个 Agent 终态都“正确”，一个靠稳定路径收敛，一个靠搜索空间暴力采样命中，在 Result 层完全不可区分，在 Trajectory 层天差地别。这就是 Trajectory Evaluation 取代 Response Evaluation 的动因——评的不是答案，是到达答案的方式。
第二层是评测标准本身要可靠。 美团的解法是 Rubric 二元化：把“口语化程度 0–10 分”这种连续模糊评分，下钻成一组二值断言——“是否以‘您’指代骑手？”“是否使用‘甭客气/明儿见’类词汇？”“是否包含‘吧/呢/那个’语气词？”每个断言独立计算 Cohen's κ，unknown 占比成为 Rubric 定义不充分的诊断信号。Beam 业务人人一致率从 62% 提升到 92%，数字站长业务人机一致率做到 99%。主观质量不是不能评，而是必须先被拆成可二元判断的事实。
第三层是 Trace 先于评测。 看不见的问题几乎不可能被稳定解决。一次 Agent 执行链路至少要记录 Prompt 模板、工具调用决策、返回结果、Token 消耗和中间状态，日志格式兼容 OpenTelemetry，把 Trace 作为上线硬前提而非事后补课。离线用 Pass@k 取稳定结论、分层门禁嵌入 CI/CD；在线通过 Agent 迭代 Loop 与评测体系迭代 Loop 共享 Case 挖掘与归因入口。数字站长的指标从冷启动 20+ 扩展到近 200 个，不是白板设计出来的，是跑出来的。
这个控制面的产出物不是一份报告，而是一组可嵌入流水线的门禁：Pass@k 阈值、Risk 一票否决、Trajectory 收敛率。有了它，“这次改动到底变好还是变坏”才是一个可回答的问题。
控制面二：Harness——把“随机行为”约束进运行时边界
第二个控制面回答“它到底怎么跑”。很多团队以为 Agent 就是“模型 + 提示词 + 工具函数 + 一个 while 循环”，真进生产才发现权限、压缩、终止、人机插话每一项都是深坑。
六套主流 Harness 的横向对比揭示了同一循环在工程取舍上的分野。Claude Code 走单线程主循环 + 模块化服务：while(true) 六步流水线，只读工具并发、写状态工具串行，权限检查放在 PreToolUse hook 与规则引擎之间，接近窗口上限时自动压缩，先清旧工具输出再摘要对话。OpenCode 选择状态机 + Runner，Codex 在 Thread 内做 Turn loop，DeepSeek Harness 把循环做成可替换插件的 ReactLoopAgent，Pi 用扁平 while + 25 个 hook 把极简做到极致——仅 4 个工具、系统提示小于 1000 token，Hermes 则是 TAOR + 状态机的自进化闭环。
差异背后是四个同构的工程问题，它们共同构成了 Harness 控制面的调节旋钮：
权限放在哪一层：Claude Code 用六层权限模型加 AST 分类器，Pi 干脆不做权限系统、把安全责任交还用户；
上下文怎么压缩：Claude Code 触发在窗口减 13K，Codex 在窗口 90%，Pi 在输入预算 50%；
循环什么时候结束：靠模型自判、靠最大步数、靠外部状态机，各有代价；
人能不能中途插话：这决定了 Agent 是“批处理作业”还是“可协作进程”。
没有“正确”的 Harness，只有与业务风险剖面匹配的 Harness。但共识正在形成：Agent = LLM + Harness。模型是大脑，Harness 是让行为可控的运行时——上下文管理、工具编排、权限门禁、状态持久化。这个控制面的价值在于：当 Agent 调错工具、忘记三步前的话、在死循环里空转时，问题根因几乎都不在模型，而在运行时有没有提供对应的控制手段。跨不过这个控制面的团队，会把大量时间花在修“为什么它又犯同样的错”上，而不是把错误变成门禁。
控制面三：Skill——把业务约束编译成可执行契约
第三个控制面回答“它凭什么做对”。最常见的误区是把 Skill 当成“提示词模板”：一段角色设定、几条注意事项，扔给模型自由发挥。结果就是换一个模型、换一个 Harness，行为立刻走样。
一线测试团队的经验点破了要害：测试经验散在老员工脑子里，质量标准随人员更迭剧烈波动。解法不是让 AI 去“模仿老员工”，而是把“测试嗅觉”拆成可执行、可度量的规则。一套覆盖需求分析、用例设计、缺陷排查、数据与 SQL、自动化构建、回归交付的 18 个 Skill，核心工程约束集中在两处：需求分析做“证据推断分离” ——把文档写明的、从架构推导的、模糊待确认的三层信息分开，严禁用个人臆断替代产品确认；用例断言做“三层规范” ——底层网络状态码、业务码、数据终态缺一不可，每个基础功能点强制“一条正向主干对应三条以上异常容错场景”。
这套约束的本质，是把主观判断降维成可审计的检查项，与评测控制面 Rubric 二元化的逻辑完全同构。Skill 控制面与评测控制面的关系是：评测定义什么叫对，Skill 把“对”编译成执行时的中间校验。 两者用的都是同一套“可二元判断”的语法。
框架层面也在印证这一点。开源的 e2e（TesterArmy） 采用混合模式：稳定步骤用传统 Playwright 代码，复杂多变的步骤交给 agent.act() 用自然语言驱动，单日曾揽下 1500+ star；TestSprite-cli 走 0 代码路线，用 JSON 描述测试计划（自然语言步骤 + 断言），云端真浏览器和真 API 执行，10 分钟生成首批 50-100 条端到端用例。两者路径不同，共同点是：Skill 的价值不在于“让模型自由发挥”，而在于把不确定性收束到明确的契约边界内。
智能问数场景展示了另一种形态：元数据 → 指标 → 思维链 → 分析报告的分层架构。元数据作为防幻觉基础，指标承担物理到虚拟的转换节点，CoT 串联指标与元数据形成业务逻辑链条，报告层用预置模板和纠偏围栏组装交付物。Skill 在这里是一套带数据溯源、带中间校验、带模板约束的执行契约——先编排后执行，缺乏依据时不直接交付 SQL。
测试 Skill 和问数 Skill 指向同一个结论：Skill 控制面的工程质量，取决于它承载了多少“被显式化的业务约束” 。约束越具体、越可二元判断、越能被中间状态校验，Skill 就越不依赖模型的临场发挥，也越容易在换模型、换 Harness 之后保持行为一致。创意侧同理——开源的 bb-video.skill 支持 22 种视频风格，原理是用代码写画面、无头浏览器逐帧渲染，效果高度依赖代码与审美，而非一句“帮我做个视频”。
控制面四：调度——把任务起点从人身上拿掉
前三个控制面解决的是“单个 Agent 怎么把一件事做好”，第四个控制面解决的是“一个人怎么管好一堆 Agent”。DeepSeek 在 Super-agent 设计里有一句被反复引用的话：一个人通常只能同时跟进 3 到 5 个活跃会话；单任务上限取决于模型能力，多任务上限取决于人的注意力。
独立开发者“数字生命卡兹克”用朱元璋的比喻把问题讲透了：废丞相后，六部直奏皇帝，八天 1660 件奏札、三千多件事，再勤快的人也绷不住。他的解法不是“更努力地盯 Agent”，而是自建一层自动化中台：所有事件先汇到中台，统一格式，按 rules.json 决定唤醒哪个 Agent、用哪个模型、开多深推理；Agent 在本地执行，Skill 沉淀每类任务的 SOP；自建 CI 五步流水线（审查、检查、合并、发布、核实）接管上线；只有删数据、停服、花钱、对外发消息这类拿不准的事，才通过飞书卡片推到人面前——他称之为“批奏折”。
这套设计的工程意义不在于“自动化了多少任务”，而在于把任务的发生起点从“人打开窗口下命令”迁移到了“事件触发” 。人的角色从“操作员”变成了“决策节点”：Agent 自行推进，只把需要拍板的事上升。这与评测控制面的“双 Loop”在结构上完全一致——系统自己发现问题、自己归因、自己修复回测，人守住门禁和红线。区别只在于，美团的门禁是 CI/CD 里的 Pass@k 阈值，个人开发者的门禁是飞书卡片上的那一下点击。
企业侧的实践补的是同一块拼图的另一面。Agent-Autoloop 把事件、Agent 执行、通知全部做成插件，核心是一个轻量中台内核；MOVO 基于 DeepSeek Harness 构建企业智能体平台，专注私有化部署、权限管控、多模型管理和运行溯源。调度控制面要解决的从来不是“怎么让 Agent 干活”，而是“怎么让人不再成为瓶颈、同时不失去控制”。
结语：四个控制面必须彼此咬合
把四个控制面放在一起，它们的耦合关系比想象中更紧。评测控制面把“好坏”变成可复现、可门禁的事实；Harness 控制面把模型的随机行为约束进可管理的运行时边界；Skill 控制面把业务约束编译成带中间校验的执行契约；调度控制面把人的注意力从执行路径中解放出来，只保留关键决策位。
四者是乘法关系。没有评测，Harness 和 Skill 的迭代就是盲调；没有 Harness 和 Skill，评测只能停在“终态对不对”而无法追问“路径为什么对”；没有调度，再好的单 Agent 能力也会被 3 到 5 个会话的注意力瓶颈锁死；而没有 Skill 承载的业务约束，调度放大的只是不确定性。反过来，四个控制面一旦咬合，系统就具备了自我改进的闭环：调度触发任务、Harness 保证执行可控、Skill 保证质量可审、评测发现回归并回喂门禁，人只站在需要拍板的位置上。
Agent 工程化正在告别“提示词玄学”的阶段。美团用 99% 的人机一致率证明主观质量可以被工程化，六套 Harness 的对比证明运行时设计有真实的取舍空间，一线团队用 18 个 Skill 和三层断言证明经验可以被结构化为可审计的规则，个人开发者和企业平台则证明“领导力式”的人机协同不是比喻而是可运行的架构。“能跑”是一次性的，“敢用”是系统性的。 下一阶段的竞争，不在于谁先做出更聪明的 Demo，而在于谁能把四个控制面逐一建立、并让它们彼此咬合。控制面立不住的，永远停在演示里；控制面立住的，才谈得上生产。
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。
