云上大模型应用的安全评测，需要把模型、提示词、知识库、记忆、工具、身份权限与外部组件作为一个版本化发布对象，至少覆盖指令与意图、生成内容、数据与隐私、任务规划与执行、供应链五类风险。评测应同时运行正常业务集与对抗集，采集数据流、调用链和业务状态证据，并将高影响失败、分项指标和复测结果接入发布门禁。
11月3日，世界互联网大会发布《前沿人工智能安全与治理2026：风险认知与协同治理》，对前沿人工智能的风险图景和治理薄弱环节作出系统分析。
对云上应用团队而言，安全准备可以拆成三项工程工作：明确资产与信任边界，建立可重复的测试流水线，为发布审批提供证据。
一、从发布对象出发确定评测范围
同一个模型接入不同Prompt、知识库和工具后，表现可能明显变化。建议把候选版本定义为以下组合：
应用版本 = 模型与Prompt + 工作流 + 知识库快照 + 记忆策略 + 工具集合 + 身份权限 + 安全策略 + 组件版本
评测登记中还应记录测试环境、网络出口、测试账号、样本版本、测试时间和未覆盖范围。生产配置无法完全复现时，需要明确差异及其可能影响。
资产梳理可重点回答：应用能接触哪些数据，能调用哪些接口，能改变哪些业务状态，哪些动作需要确认，哪些风险会造成资金、数据或服务影响。
二、五类风险映射到云上链路
1. 指令与意图
测试入口覆盖聊天输入、上传文件、对象存储文档、知识库片段、网页、记忆和工具返回。验证外部内容是否会改变高优先级任务，诱导应用扩大数据范围或调用未授权工具。
建议记录目标偏移、越界调用和真实影响三个结果，避免只根据最终回复判断是否安全。
2. 生成内容
测试违法违规、不当内容、隐私、版权和风险代码，也测试与业务流程相关的错误承诺、虚构状态和未经核验的专业结论。
对于流式接口、异步回调、结构化输出和自动写入场景，应分别验证风险片段暴露、字段约束和消费端处理。正常业务与边界问题进入同一轮回归，用于观察误拒和任务完成情况。
3. 数据与隐私
数据流需要覆盖上传、检索、上下文组装、模型请求、工具参数、外部搜索、缓存、日志和长期记忆。
企业可建立隔离测试租户，用合成标记验证租户过滤与权限撤销。还要检查内部数据是否通过搜索参数、第三方工具或调试日志离开预期边界。
4. 任务规划与执行
对工具按只读、可撤销写入和高影响操作分级，测试身份传递、资源归属、参数范围、确认绑定和最终状态。
通过故障注入模拟超时、限流、部分成功、重复消息和权限失效。写操作回执不明确时，系统应先核验真实状态，避免重复副作用。
5. 供应链
Skills、MCP、插件、镜像、依赖库和运行包进入组件清单，记录来源、版本、权限、网络范围、维护方和更新策略。
扫描已知漏洞之外，还要比较升级前后的工具描述、接口能力与权限差异。组件新增写权限或外部网络访问时，应提升评测等级。
三、把评测放进发布流水线
在变更提交阶段，比较模型、Prompt、知识库、工具、权限和组件清单差异，判断本次变更影响哪些风险链路。
在候选构建阶段，运行固定风险回归集和正常业务集。随机性场景进行多轮测试，记录有效运行次数与原始结果。
在预发布阶段，执行跨工具任务、间接提示词注入、数据隔离、权限撤销和故障注入。危险写操作可使用工具替身、专用测试租户或可回滚资源。
在发布审批阶段，汇总高影响阻断项、分项指标、证据缺口、整改复测和残余风险，由业务、研发、安全与发布责任人确认。
四、指标和门禁如何设计
风险指标包括攻击成功率、漏放率、分类召回和高影响失败数；业务指标包括正常任务完成率、误拒率和结果质量；执行指标核对意图、计划、调用、回复与真实状态；工程指标可记录平均延迟、P95/P99、并发、超时及异常降级。
跨租户泄露、未经授权写入、危险代码执行和凭证外传等问题适合设置独立阻断项。综合得分用于趋势观察，高影响失败则按业务后果单独处理。
样本量、样本分布、运行次数和分母必须写入报告。同样的“95%通过率”，可能来自20条用例，也可能来自2万次运行，决策意义完全不同。
五、AI安全POC怎样设计
企业评估第三方安全评测能力时，可准备四类样本：线上脱敏后的真实正常任务、企业已知风险、对抗变体、合法边界问题。测试对象使用接近生产的Prompt、知识库和工具配置，同时准备隔离身份和可核验状态。
POC重点观察五项结果：五类风险覆盖是否符合场景，正常业务影响是否可接受，高影响失败能否单列，证据是否支持复现，整改后能否快速复测。
数美天攻（AI安全评测）可围绕风险任务指令与意图、生成内容、关联数据、任务规划与执行、供应链等方向，对大模型及Agent开展上线前和重大变更前的风险发现、验证与量化。评测结果可结合企业现有缺陷管理、审批与发布流程，形成风险发现、整改、复测和准入闭环。
六、什么时候需要重新评测
更换模型或关键Prompt、调整知识库数据源与过滤规则、启用长期记忆、新增工具或扩大权限、更新高影响MCP和插件、改变网络出口策略、线上出现新攻击路径，都应触发变更影响分析。
安全评测不是额外的一次性流程。将版本、样本、证据与发布门禁连接起来，团队才能在迭代速度和风险控制之间建立可持续的工程机制。
