想象一个并不复杂的工作场景。
一家商城准备做周末促销,运营人员让 AI 先看看库存,找出适合参与活动的商品,整理一份方案,确认之后再修改价格和上架状态。
AI 查到了第一批商品,又去核对库存。等它回来继续处理时,先前能用的工具已经失效了,需要重新搜索。搜索完成,任务还没结束,系统又因为某个请求次数上限停止了运行。用户补了一句“继续”,得到的却是一个看不懂的错误提示。
后台可能留下了不少日志,也确实设置了许多限制。但是,商品有没有改过?哪些还没处理?接下来应该继续、重试,还是先查一下原来的结果?用户并不清楚。
这是一个假设场景,却指向企业引入 Agent 时需要认真回答的问题:如果一套治理机制让正常工作难以完成,我们应该怎样评价它?
在 AI 能力快速增长的阶段,担心失控是合理的。越权查询、错误改价、重复退款、敏感信息外传,每一种都可能产生真实后果。但如果评价安全的方式,只剩下“增加了多少限制”“弹出了多少确认”“阻断了多少请求”,我们就容易把手段当成目标。
企业需要能够持续运行的安全秩序。正常工作应该在明确边界内完成,危险动作应该被有效拦住,出现异常后应该有办法查清和接续。
这三件事,需要一起设计。
最近,微软在 Agent 365 的区域扩展消息中,宣布计划从十月起在阿联酋数据中心提供该服务,并把可观测、治理和安全作为重点。Anthropic 的公开监督材料也区分了实时监测与事后监测,讨论覆盖率、审查延迟和升级处理率。
前者是产品部署计划,后者是厂商对特定内部研发平台的自报实践,不能直接当作所有企业的成熟答案。但它们提示了一个值得讨论的方向:随着 Agent 进入组织,治理需要回答具体的运行问题,不能停在抽象的“可控”两个字上。
企业委托出去的,是一段工作
传统软件的许多交互围绕单次操作展开:填写表单,点击保存,获得成功或失败的反馈。
Agent 改变了这段关系。用户往往先表达目标,再让系统决定需要哪些中间步骤。一次“把这场促销准备好”,可能包含商品筛选、库存核对、利润测算、内容修改和结果检查。用户愿意等待,是因为相信这些步骤最终会形成一个可理解的结果。
因此,Agent 的可靠性不能只看某次接口是否正常。它还涉及任务有没有连续性,已经完成的部分是否被保留,用户中途改变要求之后,系统能不能分清新的意图和旧的执行。
一个模型每次回答都很聪明,仍然可能在这样的工作过程中表现得很难用。它知道下一步该做什么,但工具突然不可用;它完成了修改,但确认回包丢失;它正在继续分析,却被一个与当前风险无关的固定阈值打断。
这些问题会把原本交给 AI 的协调工作重新推回给人。用户需要记住上一轮做到哪里,解释为什么失败,判断能不能重试,再把碎片重新拼成任务。
当人开始充当自动化系统之间的人工连接器,AI 节省的时间就可能被这部分交接成本抵消。
摩擦本身,也需要进入风险分析
安全措施会增加成本,这并不意味着它们不该存在。核对收款对象、确认退款金额、验证操作权限,这些成本有明确的保护对象。
问题在于,有些摩擦没有带来相应的判断价值。
如果同一个人对一组范围清楚、已经批准的商品修改,仍然需要连续点击几十次内容几乎一样的确认框,那么这些点击究竟增加了多少有效审查?如果系统只告诉用户“服务不可用”,却不说明操作是否已经发出,那么它是否正在增加重复操作的可能?
更进一步,过度摩擦可能改变人的行为。
员工可能为了赶进度,把工作重新搬到不受管理的工具里;开发者可能为了减少报错,要求一个权限更大的通用账号;管理员可能因为告警太多,把原本有价值的提示一起关掉。这些是需要防范的行为路径,不能在没有证据时说成必然发生的结果。
它们提醒我们:治理系统面对的,始终是有时间压力、业务目标和有限注意力的人。
一条只在制度文件里严密、却难以在日常工作中坚持的流程,保护效果可能远低于设计者的预期。顺畅的正规路径,本身就是治理能否长期成立的条件。
控制应该跟着后果走
回到商城促销的例子,不同动作需要的控制并不相同。
查询库存之前,需要确认访问者能看哪些商品、哪些仓库。读取行为同样可能涉及敏感数据,不能因为没有写数据库,就把它当成没有风险。
准备一份本地促销草稿,通常不等于对外发布。但如果草稿包含客户资料,还要考虑它会被交给哪个模型、保存到哪里,是否超出了原本允许的数据使用范围。
真正修改价格时,需要核对商品、渠道、价格条件和操作权限。如果业务规则要求审批,就应该在修改发生前完成审批,并确保实际执行的内容就是被批准的内容。
同样是一百次调用,一百次查看公开商品,与一百次向不同客户退款,显然不能只用相同的次数来描述风险。一次调用也可能导出大量敏感数据,或者改变整批商品的销售状态。
请求次数、并发和时长限制可以用于资源保护、异常检测或防止失控循环,在适当场景下很有价值。但它们不应该在未经解释的情况下,代替业务风险判断,更不能被包装成普遍适用的安全答案。
控制措施应当能说清楚:它保护什么,在哪个时刻生效,触发之后如何处理。
如果这些问题答不上来,增加一个开关可能只是增加了配置复杂度。
哪些事必须先做,哪些事可以稍后完成
讨论异步,经常容易滑向另一个极端:既然等待影响体验,那就先执行,其他事情以后再说。
这种做法同样站不住脚。
一份本来不允许读取的客户名单,一旦已经发给了模型,再补权限检查就晚了。一笔需要审批的退款,如果资金已经退回,再让负责人确认,也失去了原来的控制意义。
身份、数据访问边界、关键业务审批,以及保证执行可追溯所必需的记录,都有自己的时序要求。不能为了缩短等待,把这些前提挪到动作之后。
但是,另一些工作没有必要占据相同的位置。
例如,用户已经获得完整的模型回复,成本报表的汇总尚未完成;一项合法操作已经留下必要的执行凭据,后续还需要生成统计图表;多条记录需要在后台完成归类,以便管理者第二天分析使用情况。
这些工作可以在具备持久记录、失败重试和对账机制的前提下,异步推进。是否采用这种方式,仍取决于业务约束:严格预付费、信用风险或特定交易规则可能要求更强的实时额度控制,不能一概而论。
这里真正需要梳理的,是依赖关系。哪些检查决定“这件事现在能不能做”,哪些处理决定“之后怎样统计、解释和管理这件事”,不应该因为都叫后台工作,就被串成一条必须全部等待的长队。
Anthropic 公开材料里的实时与事后监督,也有各自对应的风险对象。对普通企业的启发,是研究控制的时机与用途;它并不意味着企业可以照搬其监测方式,更不意味着事后审查能够补救所有损害。
一次确认,应该承载一次有效判断
人类参与经常被视为 Agent 安全的最后一道保障,但“有人点过按钮”与“有人作出了知情判断”之间,还有很大距离。
如果用户看不到将要修改哪些商品、具体改动是什么、会在哪个渠道生效,点击确认并不能补足这些信息。如果审批之后,模型又重新生成了另一组参数,那么原来的判断也未必覆盖新的动作。
有效的人工参与,需要让人看见足够具体的决策对象,并把批准与对应执行绑定起来。
这也给批量工作提供了一种更合理的方向。业务规则允许时,可以让用户审查一份清楚的变更清单,再在获准范围内逐项执行;有新商品、新条件或超出范围的变化时,再重新提交判断。
减少无意义的重复确认,并不等于让旧批准无限延伸。授权范围、有效期、撤销状态和执行时的业务条件,仍然需要得到正确处理。
企业真正稀缺的是负责人的注意力。我们应该把它留给需要判断的变化,而不是消耗在系统能够自行核对的重复事实里。
停得下来,还要说得清停在了哪里
一套治理系统最容易展示的能力,是拒绝一次请求。更难展示、却直接影响信任的能力,是在中断之后把事情交代清楚。
假设 AI 正在修改一批商品,用户点击了停止。
有些商品尚未处理,有些已经修改成功,还有一笔请求可能已经送达业务系统,但结果暂时没有返回。这三种状态需要不同的下一步。
尚未发出的操作,可以停止派发;已经成功的操作,应该如实展示;结果不确定的操作,需要沿着原来的调用记录核对,不能因为界面没有显示成功,就再发一遍。
“停止”也不天然等于“撤销”。商品已经上架,是否允许下架恢复,涉及新的业务判断;消息已经送达客户,更无法通过删除一条执行日志让它消失。
如果系统把这些情况统一压缩成“本轮失败”,用户就不得不自己猜测。而一旦用户开始通过重复发送同一条指令试探状态,治理系统原本希望降低的风险,可能又从恢复过程里出现。
因此,可靠的异常处理至少应该告诉人:哪些已完成,哪些没开始,哪些等待审批,哪些需要核对,以及下一步会不会再次产生业务动作。
清楚的状态,是用户能够安全继续工作的基础。
怎样判断一套治理机制真的有用
如果企业只统计拦截次数,那么拦得越多,看起来就越安全。如果只统计任务完成率,权限放得越宽,数字也可能越好看。
这两种单一指标都容易产生偏差。
更完整的评价,需要同时看危险动作有没有漏过,正常工作有没有被误伤,关键检查增加了多少等待,异常发生后能否找回原结果,以及人需要花多少时间重新介入。
其中一些指标可以从运行记录中获得,另一些必须通过合成场景、故障注入和人工复核来验证。没有发生已知事故,不等于已经证明安全;拦截率很低,也可能来自任务本身风险低,不能直接当成控制足够精准。
对于准备接入 Agent 的企业,可以先选一项范围明确的工作,把成功、拒绝、中断和恢复都走一遍。除了问“它能不能做成”,还要问“它为什么拒绝”“停止后发生了什么”“换一个人接手能不能看懂”。
这些问题,比一个演示视频里的连续成功,更接近日常运营。
当这样的评价逐渐稳定下来,治理也会从项目上线前的一次验收,变成伴随业务变化持续维护的组织能力。新增权限、调整流程、替换模型,都需要重新判断原来的边界是否仍然合适。
给智能留下空间,也给责任留下位置
Agent 的价值,在于它能够根据目标处理一定程度的不确定性。如果企业把所有中间步骤都固定下来,每一次探索都要重新走完整的人工作业,委托的意义就会被削弱。
但这种灵活性需要一个可信的承载结构:模型可以提出方案,运行环境负责组织工作,治理设施检查开放范围和执行条件,业务系统继续裁决自己的权限与业务规则。
边界清楚,各层才有机会独立改进。更换一个模型,不必重新定义谁能退款;调整一项套餐,不应悄悄扩大商品管理权限;优化统计速度,也不该改变审批的含义。
我们把 Agent 进入已有业务系统完成工作的这一类问题,称为 A2B,即 Agent-to-Business。这是理解问题的一种视角,不是声称行业已经形成统一分类。
围绕这个方向,ACC(Agent Capability Contract,Agent 能力契约)尝试为业务能力及其治理要求提供实现中立的声明语义。百灵中枢 BailingHub 则是一种开源业务动作治理控制面的工程实践,把可信身份、能力范围、审批与执行轨迹连接起来,同时保留业务系统的最终授权。
这两者都不能独自保证企业的 AI 安全,也不负责替所有企业决定怎样经营。它们希望减少的,是不同入口接入业务时反复发明、又难以说清楚的责任边界。
AI 安全最终需要接受两方面的检验:当它可能造成损害时,组织有没有能力及时制止;当它在合法范围内工作时,组织有没有能力让它持续完成任务。
风险可控,工作可继续,出了问题能够查清并接手。这样的系统,才更值得企业把真实工作交给它。