把 AI 管到干不动,就算安全吗?

简介: 本文探讨AI Agent在企业落地时的治理难题:安全不能仅靠限制,而需保障“工作可继续、风险可拦截、异常可追溯”。强调治理应聚焦真实业务场景,平衡控制与效率,让智能真正服务于人。

想象一个并不复杂的工作场景。

一家商城准备做周末促销,运营人员让 AI 先看看库存,找出适合参与活动的商品,整理一份方案,确认之后再修改价格和上架状态。

AI 查到了第一批商品,又去核对库存。等它回来继续处理时,先前能用的工具已经失效了,需要重新搜索。搜索完成,任务还没结束,系统又因为某个请求次数上限停止了运行。用户补了一句“继续”,得到的却是一个看不懂的错误提示。

后台可能留下了不少日志,也确实设置了许多限制。但是,商品有没有改过?哪些还没处理?接下来应该继续、重试,还是先查一下原来的结果?用户并不清楚。

这是一个假设场景,却指向企业引入 Agent 时需要认真回答的问题:如果一套治理机制让正常工作难以完成,我们应该怎样评价它?

在 AI 能力快速增长的阶段,担心失控是合理的。越权查询、错误改价、重复退款、敏感信息外传,每一种都可能产生真实后果。但如果评价安全的方式,只剩下“增加了多少限制”“弹出了多少确认”“阻断了多少请求”,我们就容易把手段当成目标。

企业需要能够持续运行的安全秩序。正常工作应该在明确边界内完成,危险动作应该被有效拦住,出现异常后应该有办法查清和接续。

这三件事,需要一起设计。

最近,微软在 Agent 365 的区域扩展消息中,宣布计划从十月起在阿联酋数据中心提供该服务,并把可观测、治理和安全作为重点。Anthropic 的公开监督材料也区分了实时监测与事后监测,讨论覆盖率、审查延迟和升级处理率。

前者是产品部署计划,后者是厂商对特定内部研发平台的自报实践,不能直接当作所有企业的成熟答案。但它们提示了一个值得讨论的方向:随着 Agent 进入组织,治理需要回答具体的运行问题,不能停在抽象的“可控”两个字上。

企业委托出去的,是一段工作

传统软件的许多交互围绕单次操作展开:填写表单,点击保存,获得成功或失败的反馈。

Agent 改变了这段关系。用户往往先表达目标,再让系统决定需要哪些中间步骤。一次“把这场促销准备好”,可能包含商品筛选、库存核对、利润测算、内容修改和结果检查。用户愿意等待,是因为相信这些步骤最终会形成一个可理解的结果。

因此,Agent 的可靠性不能只看某次接口是否正常。它还涉及任务有没有连续性,已经完成的部分是否被保留,用户中途改变要求之后,系统能不能分清新的意图和旧的执行。

一个模型每次回答都很聪明,仍然可能在这样的工作过程中表现得很难用。它知道下一步该做什么,但工具突然不可用;它完成了修改,但确认回包丢失;它正在继续分析,却被一个与当前风险无关的固定阈值打断。

这些问题会把原本交给 AI 的协调工作重新推回给人。用户需要记住上一轮做到哪里,解释为什么失败,判断能不能重试,再把碎片重新拼成任务。

当人开始充当自动化系统之间的人工连接器,AI 节省的时间就可能被这部分交接成本抵消。

摩擦本身,也需要进入风险分析

安全措施会增加成本,这并不意味着它们不该存在。核对收款对象、确认退款金额、验证操作权限,这些成本有明确的保护对象。

问题在于,有些摩擦没有带来相应的判断价值。

如果同一个人对一组范围清楚、已经批准的商品修改,仍然需要连续点击几十次内容几乎一样的确认框,那么这些点击究竟增加了多少有效审查?如果系统只告诉用户“服务不可用”,却不说明操作是否已经发出,那么它是否正在增加重复操作的可能?

更进一步,过度摩擦可能改变人的行为。

员工可能为了赶进度,把工作重新搬到不受管理的工具里;开发者可能为了减少报错,要求一个权限更大的通用账号;管理员可能因为告警太多,把原本有价值的提示一起关掉。这些是需要防范的行为路径,不能在没有证据时说成必然发生的结果。

它们提醒我们:治理系统面对的,始终是有时间压力、业务目标和有限注意力的人。

一条只在制度文件里严密、却难以在日常工作中坚持的流程,保护效果可能远低于设计者的预期。顺畅的正规路径,本身就是治理能否长期成立的条件。

控制应该跟着后果走

回到商城促销的例子,不同动作需要的控制并不相同。

查询库存之前,需要确认访问者能看哪些商品、哪些仓库。读取行为同样可能涉及敏感数据,不能因为没有写数据库,就把它当成没有风险。

准备一份本地促销草稿,通常不等于对外发布。但如果草稿包含客户资料,还要考虑它会被交给哪个模型、保存到哪里,是否超出了原本允许的数据使用范围。

真正修改价格时,需要核对商品、渠道、价格条件和操作权限。如果业务规则要求审批,就应该在修改发生前完成审批,并确保实际执行的内容就是被批准的内容。

同样是一百次调用,一百次查看公开商品,与一百次向不同客户退款,显然不能只用相同的次数来描述风险。一次调用也可能导出大量敏感数据,或者改变整批商品的销售状态。

请求次数、并发和时长限制可以用于资源保护、异常检测或防止失控循环,在适当场景下很有价值。但它们不应该在未经解释的情况下,代替业务风险判断,更不能被包装成普遍适用的安全答案。

控制措施应当能说清楚:它保护什么,在哪个时刻生效,触发之后如何处理。

如果这些问题答不上来,增加一个开关可能只是增加了配置复杂度。

哪些事必须先做,哪些事可以稍后完成

讨论异步,经常容易滑向另一个极端:既然等待影响体验,那就先执行,其他事情以后再说。

这种做法同样站不住脚。

一份本来不允许读取的客户名单,一旦已经发给了模型,再补权限检查就晚了。一笔需要审批的退款,如果资金已经退回,再让负责人确认,也失去了原来的控制意义。

身份、数据访问边界、关键业务审批,以及保证执行可追溯所必需的记录,都有自己的时序要求。不能为了缩短等待,把这些前提挪到动作之后。

但是,另一些工作没有必要占据相同的位置。

例如,用户已经获得完整的模型回复,成本报表的汇总尚未完成;一项合法操作已经留下必要的执行凭据,后续还需要生成统计图表;多条记录需要在后台完成归类,以便管理者第二天分析使用情况。

这些工作可以在具备持久记录、失败重试和对账机制的前提下,异步推进。是否采用这种方式,仍取决于业务约束:严格预付费、信用风险或特定交易规则可能要求更强的实时额度控制,不能一概而论。

这里真正需要梳理的,是依赖关系。哪些检查决定“这件事现在能不能做”,哪些处理决定“之后怎样统计、解释和管理这件事”,不应该因为都叫后台工作,就被串成一条必须全部等待的长队。

Anthropic 公开材料里的实时与事后监督,也有各自对应的风险对象。对普通企业的启发,是研究控制的时机与用途;它并不意味着企业可以照搬其监测方式,更不意味着事后审查能够补救所有损害。

一次确认,应该承载一次有效判断

人类参与经常被视为 Agent 安全的最后一道保障,但“有人点过按钮”与“有人作出了知情判断”之间,还有很大距离。

如果用户看不到将要修改哪些商品、具体改动是什么、会在哪个渠道生效,点击确认并不能补足这些信息。如果审批之后,模型又重新生成了另一组参数,那么原来的判断也未必覆盖新的动作。

有效的人工参与,需要让人看见足够具体的决策对象,并把批准与对应执行绑定起来。

这也给批量工作提供了一种更合理的方向。业务规则允许时,可以让用户审查一份清楚的变更清单,再在获准范围内逐项执行;有新商品、新条件或超出范围的变化时,再重新提交判断。

减少无意义的重复确认,并不等于让旧批准无限延伸。授权范围、有效期、撤销状态和执行时的业务条件,仍然需要得到正确处理。

企业真正稀缺的是负责人的注意力。我们应该把它留给需要判断的变化,而不是消耗在系统能够自行核对的重复事实里。

停得下来,还要说得清停在了哪里

一套治理系统最容易展示的能力,是拒绝一次请求。更难展示、却直接影响信任的能力,是在中断之后把事情交代清楚。

假设 AI 正在修改一批商品,用户点击了停止。

有些商品尚未处理,有些已经修改成功,还有一笔请求可能已经送达业务系统,但结果暂时没有返回。这三种状态需要不同的下一步。

尚未发出的操作,可以停止派发;已经成功的操作,应该如实展示;结果不确定的操作,需要沿着原来的调用记录核对,不能因为界面没有显示成功,就再发一遍。

“停止”也不天然等于“撤销”。商品已经上架,是否允许下架恢复,涉及新的业务判断;消息已经送达客户,更无法通过删除一条执行日志让它消失。

如果系统把这些情况统一压缩成“本轮失败”,用户就不得不自己猜测。而一旦用户开始通过重复发送同一条指令试探状态,治理系统原本希望降低的风险,可能又从恢复过程里出现。

因此,可靠的异常处理至少应该告诉人:哪些已完成,哪些没开始,哪些等待审批,哪些需要核对,以及下一步会不会再次产生业务动作。

清楚的状态,是用户能够安全继续工作的基础。

怎样判断一套治理机制真的有用

如果企业只统计拦截次数,那么拦得越多,看起来就越安全。如果只统计任务完成率,权限放得越宽,数字也可能越好看。

这两种单一指标都容易产生偏差。

更完整的评价,需要同时看危险动作有没有漏过,正常工作有没有被误伤,关键检查增加了多少等待,异常发生后能否找回原结果,以及人需要花多少时间重新介入。

其中一些指标可以从运行记录中获得,另一些必须通过合成场景、故障注入和人工复核来验证。没有发生已知事故,不等于已经证明安全;拦截率很低,也可能来自任务本身风险低,不能直接当成控制足够精准。

对于准备接入 Agent 的企业,可以先选一项范围明确的工作,把成功、拒绝、中断和恢复都走一遍。除了问“它能不能做成”,还要问“它为什么拒绝”“停止后发生了什么”“换一个人接手能不能看懂”。

这些问题,比一个演示视频里的连续成功,更接近日常运营。

当这样的评价逐渐稳定下来,治理也会从项目上线前的一次验收,变成伴随业务变化持续维护的组织能力。新增权限、调整流程、替换模型,都需要重新判断原来的边界是否仍然合适。

给智能留下空间,也给责任留下位置

Agent 的价值,在于它能够根据目标处理一定程度的不确定性。如果企业把所有中间步骤都固定下来,每一次探索都要重新走完整的人工作业,委托的意义就会被削弱。

但这种灵活性需要一个可信的承载结构:模型可以提出方案,运行环境负责组织工作,治理设施检查开放范围和执行条件,业务系统继续裁决自己的权限与业务规则。

边界清楚,各层才有机会独立改进。更换一个模型,不必重新定义谁能退款;调整一项套餐,不应悄悄扩大商品管理权限;优化统计速度,也不该改变审批的含义。

我们把 Agent 进入已有业务系统完成工作的这一类问题,称为 A2B,即 Agent-to-Business。这是理解问题的一种视角,不是声称行业已经形成统一分类。

围绕这个方向,ACC(Agent Capability Contract,Agent 能力契约)尝试为业务能力及其治理要求提供实现中立的声明语义。百灵中枢 BailingHub 则是一种开源业务动作治理控制面的工程实践,把可信身份、能力范围、审批与执行轨迹连接起来,同时保留业务系统的最终授权。

这两者都不能独自保证企业的 AI 安全,也不负责替所有企业决定怎样经营。它们希望减少的,是不同入口接入业务时反复发明、又难以说清楚的责任边界。

AI 安全最终需要接受两方面的检验:当它可能造成损害时,组织有没有能力及时制止;当它在合法范围内工作时,组织有没有能力让它持续完成任务。

风险可控,工作可继续,出了问题能够查清并接手。这样的系统,才更值得企业把真实工作交给它。

相关文章
|
4月前
|
自然语言处理 前端开发 安全
2026 世界杯钓鱼即服务平台攻击机理与防御体系研究
2026世界杯前夕,“Ghost Stadium”中文钓鱼即服务平台发动大规模攻击,涉案4.7–10亿美元,受害超4.7万人,窃取FIFA凭证2500+条,注册恶意域名超4000个。该平台采用React+Layui实现像素级克隆、SSO模拟与多语言适配,构建覆盖社交广告、搜索、IM的立体攻击网络。本文基于实证分析,提出检测、响应、溯源、治理闭环防御体系,强调跨机构协同与动态对抗。(239字)
350 10
|
6月前
|
人工智能 自然语言处理 安全
Windows 一键部署 OpenClaw 2.6.6 教程|5 分钟搞定本地 AI 智能体,告别复杂配置(技术分享喜欢点赞)
本文详解Windows一键部署OpenClaw 2.6.6(“小龙虾”)全流程:零代码、全可视化、内置依赖,5分钟搞定本地AI智能体。支持文件整理、浏览器自动化、微信联动等办公场景,附避坑指南与实操指令,小白友好,隐私安全有保障。
|
2月前
|
人工智能 运维 数据可视化
通义千问Qwen3.8‑Max深度解析:MoE旗舰大模型全能力与API实战教程
大模型技术快速迭代,行业需求已经从简单问答对话,转向可以独立完成复杂工程、长周期任务、多模态综合处理的自主智能体。Qwen3.8‑Max作为通义千问系列定位最高的旗舰版本,采用2.4万亿总参数第三代MoE稀疏混合专家架构,搭配百万级Token超长上下文窗口,实现原生多模态融合,完成从AI辅助工具向自主执行智能体的能力跨越。它不仅在代码工程、专业办公、数理科研推理领域实现大幅度性能跃升,还具备端到端交付生产级业务成果的实力,为个人开发者、企业研发团队、科研机构提供高性能AI生产力底座。本文从底层技术架构、五大核心能力矩阵、真实业务场景、多套可直接运行的API代码示例、接入方式等维度完整展开,帮助
885 2
|
3月前
|
应用服务中间件 Linux 网络安全
【2026最新】Nginx下载安装图文保姆级教程(Windows+Linux)
本文详解Nginx下载安装与配置:涵盖Windows绿色部署及Linux源码编译(含依赖安装、模块定制、启动验证),提供官方纯净资源包,附端口冲突解决与核心配置说明,助你快速上手高性能Web服务器。
|
6月前
|
数据采集 运维 监控
绝缘子位置检测数据集(2000张)|YOLOv8训练数据集 电力巡检 无人机检测 输电线路监测 智能运维
本数据集含2000张真实电力巡检图像,专为YOLOv8训练优化,聚焦绝缘子位置检测。覆盖山区、城市等多场景及晴/雾/逆光等复杂条件,采用单类别高精度YOLO格式标注,结构标准、即拿即用,助力无人机巡检、智能运维与输电线路安全监测。
571 11
|
1月前
|
人工智能 JavaScript 开发工具
DeepSeek Harness完整实操教程:开源Agent运行框架本地部署、模式选型与插件开发指南
DeepSeek Harness把大模型从单纯对话,推向真实本地环境执行任务,依托Cordis插件架构实现组件完全可替换,给Agent开发者提供了一套能力强大的开源底座。整套工具的使用流程可以概括为:准备适配版本Node.js环境,通过npx一行命令快速拉起Web界面,配置模型密钥或者对接Ollama本地模型,选择隔离的工作目录,根据任务选择合适运行模式,下发指令观察Agent完整执行轨迹。
1402 3
|
3月前
|
人工智能 自然语言处理 BI
阿里云QoderWork完全指南:从入门到精通,打造全能AI工作搭档
QoderWork是阿里云Qoder团队打造的桌面端AI智能体工具,定位为可自主执行多步骤任务的“AI实习生”,能在本地环境完成文件管理、数据处理、文档生成、办公自动化等全场景工作,无需复杂命令,用自然语言即可驱动。它以本地沙盒运行、细粒度权限控制、可扩展Skill系统、多模型自由切换为核心优势,完美适配个人办公、团队协作与企业级任务需求,是替代传统AI助手、提升工作效率的全能搭档。本文从核心定位、安装配置、核心功能、模型接入、Skill开发、实战技巧、常见问题等维度,提供从入门到精通的完整指南,帮助用户快速掌握并最大化发挥QoderWork的价值。
1386 5
|
2月前
|
人工智能 Java BI
【AI】Agent 全栈进阶|大模型基础与对话调用
本文开启Agent代码实操,先讲解大语言模型底层原理,依托LangChain框架搭配阿里百炼接口,演示基础对话、系统提示词角色扮演、图片多模态识别与多轮上下文会话,附带完整可运行Python代码
321 3
|
3月前
|
人工智能 监控 测试技术
银行业AI架构:从裸调API到六层技能体系
# 银行AI智能体架构实战:从单体到Skill协同的技术演进 ## 痛点:银行IT架构的三重困境 走在任何一家银行的科技部走廊里,你都能听到同样的叹息:系统又慢了、需求又排不上、监管又来查了。这不是某一家银行的困境,而是整个银行业IT架构的共性问题。我们把它拆解为三重困境。 **困境一:单体系
|
3月前
|
人工智能 API 数据库
Kimi深夜突袭K3,2.8万亿参数超大水桶!直接跨入世界第一梯队!
老金我昨儿在网上瞎逛的时候,突然看到了Kimi K3的消息。 合计先打开官网看看开发者文档有没有啥信儿,结果刚打开官网,好家伙。。就看到已经上线了! ![Image](https://ucc.alicdn.com/pic/developer-ecology/p3shvhj26rigq_0488c34b2827443e9b77df8ee1e3a066.png) Kimi官网Chat窗口里已

热门文章

最新文章