配置页面显示“策略已启用”,并不意味着每个请求入口都已经执行新规则。AI 接入治理的验收,需要把配置变化和实际请求放在一起观察。
下面五项面向接入与治理功能,按项目约定的能力范围选择。它们不构成完整的 AI 安全评估,模型行为、工具执行权限等仍需单独测试。以下均为建议方法,不是真实客户测试结果。
先约定观察对象
一次验收至少涉及三个位置:
配置端:策略是否发布、何时发布
执行端:请求是否受控、采用哪个策略版本
记录端:决策与结果能否关联、何时可查
三处状态可能存在时间差。测试前固定部署版本、入口范围、时钟口径和样本条件,使用独立测试项目与虚构数据。
1. 撤权:区分配置提交与执行生效
先用测试凭证成功调用,再撤销凭证或对应权限,用同一凭证继续发起受控请求。停用登录账号、撤销会话和撤销 API 凭证不一定联动,应按实际设计分别验证。
不同执行点可能缓存授权状态,因此需覆盖约定入口。记录撤销提交时间与观察到拒绝的时间,但不要把稀疏采样得到的间隔当成精确生效时延。
新请求、排队请求和执行中的长任务也应分别记录;拒绝后续请求不代表能够终止已提交的上游任务。
2. 预算:核对计量与控制的关系
若产品支持项目额度控制,设置便于触达的阈值,观察触发后是告警、限流还是拒绝新请求,以及其他测试项目是否仍能正常工作。
请求数限流、Token 配额与货币预算不是同一种控制。实时估算与最终账单可能不同,并发中的请求也可能在阈值触发后继续产生费用。验收中应写明计量口径、回传延迟、额度重置方式和超额边界。
3. 敏感信息:验证处置位置
使用合成的客户资料与不可用的测试凭证字符串,验证约定的拦截或脱敏规则,并加入不含敏感数据的正常技术文本作为对照。
除了查看告警,还应通过受控测试接收端或经脱敏的链路证据确认:内容是否在越过约定边界前完成处理。正常文本是否被误拦,也属于验收结果。
检查审计日志是否又留存了原文,确认留存必要性、访问权限和保留期限。少量样例不能用于推导总体检出率。
4. 策略故障:观察缓存与恢复
在隔离环境模拟执行端暂时无法获取配置。记录它是拒绝请求、使用有效缓存还是按约定放行,并核查告警是否产生。
使用旧策略时,需说明缓存有效期与新增撤权无法及时传播的影响。恢复连接后,还应验证执行端采用了正确版本,不能仅检查网络是否恢复。
5. 审计:让一次请求可以被解释
从测试样本中选取一条异常请求,关联调用主体、应用、目标服务标识、策略版本、决策与执行结果。共享凭证未携带可靠的终端用户身份时,不能仅靠凭证记录断言具体员工是谁。
下面仅是自定义验收记录示意,并非任何产品的接口格式:
{
"case_id": "revoke-test-01",
"entrypoint": "test-gateway",
"expected_decision": "deny",
"observed_decision": "not_recorded",
"evidence_ref": null
}
预期值和观察值分开,能避免测试尚未执行就被写成通过。日志里的模型名称同样只是标识,不足以独立证明上游实际运行的模型身份。
用证据结束验收
每项用例都记录前置条件、预期动作、实际观察和证据位置。缺少证据应标为待验证;超出产品范围应标为不适用并说明原因。验收的价值,在于让系统边界清晰,而不是让所有格子都被勾上。