本文面向安全工程师、平台架构师与 AI 应用开发者。文中延迟与准确率为量级示意,不代表任何具体产品;法规与标准以官方发布文本为准。
过去二十年,企业安全的控制点一直跟着"连接"走:防火墙看地址和端口,下一代防火墙看应用,零信任看身份。大模型应用出现后,这套逻辑第一次不够用了。一条发往模型的 HTTPS 请求,地址、端口、应用、身份都完全合法,风险却藏在请求体里的一段自然语言中:可能是员工粘贴的一份客户名单,也可能是网页里一句伪装成正文的指令。
安全控制点因此需要从"连接层"上移到"语义层"。AI 安全网关就是这个控制点的工程化形态:它站在 AI 应用与模型之间,理解 Prompt 和模型输出的内容,并据此做识别、处置和审计。
一、AI安全网关是什么
AI 安全网关是部署在用户、应用、Agent 与大模型之间的内容级安全控制点,负责识别 AI 资产、检测输入输出中的攻击与敏感信息、执行脱敏或拦截策略,并留存可审计的调用记录。
它和几类相邻产品的边界如下:
产品 |
主要看什么 |
能否理解 Prompt 内容 |
防火墙 / NGFW |
地址、端口、应用特征 |
否 |
传统 DLP |
文件、邮件中的敏感数据 |
部分,缺少对话上下文 |
大模型网关(LLM 网关) |
模型路由、成本、配额 |
部分,以治理为目的 |
AI 安全网关 |
Prompt、模型输出、工具调用的内容与意图 |
是,以安全为目的 |
实践中,大模型网关与 AI 安全网关经常合并部署:前者解决"用好",后者解决"管住",两者共享同一个流量入口。
二、AI安全网关的威胁模型:对照 OWASP 大模型风险清单
做 AI 安全网关之前,先明确它要防什么、防不了什么。OWASP 大模型应用十大风险(2025 版)是目前通用的参照。下表列出每项风险中网关能承担的部分。
OWASP 风险 |
网关可承担的控制 |
网关难以单独解决的部分 |
LLM01 Prompt 注入 |
输入检测(直接与间接注入)、可疑指令拦截 |
模型自身的指令遵循偏差 |
LLM02 敏感信息泄露 |
输入侧 DLP 与脱敏、输出侧泄露检测 |
训练数据中已有的敏感信息 |
LLM03 供应链风险 |
模型与 MCP 服务器白名单 |
模型权重本身的安全性 |
LLM04 数据与模型投毒 |
有限:检测异常输出 |
训练与微调阶段的数据治理 |
LLM05 不当输出处理 |
输出过滤、恶意代码与链接识别 |
下游系统对输出的处理方式 |
LLM06 过度代理 |
工具调用审计、高危操作审批 |
Agent 设计本身的权限范围 |
LLM07 系统提示词泄露 |
输出中的系统提示词特征检测 |
提示词设计 |
LLM08 向量与嵌入弱点 |
有限:检索结果的内容检测 |
向量库访问控制 |
LLM09 错误信息 |
有限:事实核查类护栏 |
模型能力本身 |
LLM10 无限制消耗 |
Token 限流、配额与预算 |
— |
这张表的意义在于划清责任边界:AI 安全网关能显著降低 LLM01、LLM02、LLM05、LLM06、LLM10 的风险,但不能替代训练数据治理、Agent 权限设计和向量库访问控制。
三、AI安全网关的检测技术:四类检测器与级联设计
四类检测器的取舍
AI 安全网关的核心是检测器。常见的四类检测器在准确率、延迟和成本上差异很大:
检测器 |
原理 |
典型延迟(量级) |
擅长 |
短板 |
规则与字典 |
正则、关键词、校验算法 |
亚毫秒 |
证件号、卡号、手机号等结构化数据 |
无法理解语义 |
实体识别 NER |
序列标注模型 |
毫秒到十毫秒 |
人名、地址、机构、合同要素 |
需要按业务标注语料 |
分类模型 |
专门训练的小模型 |
十毫秒到数十毫秒 |
Prompt 注入、越狱、违规内容 |
对新型攻击需持续更新 |
大模型裁判 |
用一个大模型判断另一个模型的输入输出 |
数百毫秒以上 |
复杂语义、上下文相关的风险 |
慢、贵,且自身也可能被注入 |
级联检测:用延迟预算换准确率
生产环境通常不会让每个请求都经过全部检测器,而是做成级联:先用快速检测器过滤大部分正常流量,只有可疑请求才进入更慢、更准的检测器。
AI 安全网关的级联检测架构与延迟预算
设计级联时有三个要点:
同步与异步分开。 规则、NER、分类模型在请求路径上同步执行,决定放行还是拦截;大模型裁判放在旁路异步执行,结果用于告警、复盘和规则迭代,不阻塞业务。
设定延迟预算。 例如为输入检测设定 50 毫秒上限,超时则按策略放行并记录,或降级为仅规则检测。没有预算约束,检测会悄悄吃掉用户体验。
流式输出按窗口检测。 模型以流式返回时,输出检测可以按句子或固定字符窗口进行,发现风险后截断后续输出。代价是已输出的部分无法撤回,所以高风险场景应改为非流式返回或缩小窗口。
脱敏与还原
比拦截更实用的处置是"脱敏后放行"。网关把敏感值替换为占位符,同时在本地保存映射关系;模型返回后再把占位符还原。
原始输入:请给张伟(身份证 1101011990XXXXXXXX)起草一份续约通知
发往模型:请给[PERSON_1](身份证 [ID_1])起草一份续约通知
模型返回:尊敬的[PERSON_1],您好……
还原输出:尊敬的张伟,您好……
需要注意的是,映射表本身是高敏感数据,必须留在企业可控范围内,并与会话生命周期绑定、及时销毁。
四、AI安全网关的部署架构:三种接入方式
AI 安全网关接入流量的方式,决定了它能覆盖哪些场景。
正向代理(出口侧)
部署在企业网络出口或分支接入点,员工访问外部 AI 服务的流量经过网关,需要 SSL 解密(企业根证书下发到终端)。覆盖"人用 AI",不需要改造应用。
反向代理(服务侧)
部署在企业自研 AI 应用与模型之间,应用把模型地址改为网关地址即可接入。覆盖"应用调用 AI"与"Agent 调用",不涉及终端证书。
SDK / 旁路(应用内)
以 SDK 或 API 形式嵌入应用,在调用模型前后检测。语义结合最深,但只覆盖接入的应用。
多数企业会组合使用:出口侧正向代理管员工,服务侧反向代理管自研应用。部署位置的另一个考量是数据边界:检测在哪里完成,敏感内容就会经过哪里。对数据不出域要求严格的企业,会倾向于把检测放在企业网络接入层并私有化部署,例如犀思云私有 AI 网关这类装载在企业接入网关上的方案,脱敏与审计都在本地完成。
五、AI安全网关策略配置示例
下面是一份示意性的策略配置,展示策略通常包含的要素:作用范围、检测器、处置动作与审计要求。
yaml
policy: finance-dept-genai
match:
departments: [finance, legal]
apps: [contract-assistant, chat-portal]
models: [public-llm-a, public-llm-b]
input:
detectors:
- type: regex
entities: [CN_ID_CARD, BANK_CARD, PHONE]
action: mask # 脱敏后放行
- type: ner
entities: [PERSON, ORG, ADDRESS]
action: mask
- type: injection_classifier
threshold: 0.85
action: block # 拦截并返回提示
latency_budget_ms: 50
on_timeout: allow_and_log
output:
detectors:
- type: leakage # 系统提示词与敏感数据泄露
action: truncate
- type: unsafe_content
action: block
streaming_window: sentence
audit:
log_fields: [user, app, model, entity_types, action, latency]
store_raw_prompt: false # 只存类别与摘要,不存原文
retention_days: 180
两个容易被忽视的配置:一是 store_raw_prompt,审计日志默认不应保存 Prompt 原文,否则日志库会成为新的敏感数据集中地;二是 on_timeout,必须明确检测超时时是放行还是拦截,并与业务方事先约定。
六、AI安全网关的合规映射:国内法规与控制项
法规 / 标准 |
与 AI 安全网关相关的要求方向 |
网关可提供的控制 |
《生成式人工智能服务管理暂行办法》(2023-08-15 施行) |
生成内容管理、用户输入信息保护 |
输入输出内容检测、输入数据保护 |
GB/T 45654-2025《网络安全技术 生成式人工智能服务安全基本要求》(2025-11-01 实施) |
模型与服务的安全要求、内容安全评估 |
内容安全检测、拦截与留痕 |
《网络数据安全管理条例》(2025-01-01 施行) |
数据处理活动的安全管理与记录 |
敏感数据识别、脱敏、审计记录 |
《人工智能生成合成内容标识办法》(2025-09-01 施行) |
生成合成内容的标识 |
对输出做标识或校验标识(视场景) |
等级保护 2.0 |
访问控制、安全审计 |
身份接入、日志留存 |
对面向公众提供生成式 AI 服务的企业,内容安全与标识是硬要求;对内部使用 AI 的企业,重点通常在数据保护与审计。两类企业的网关策略侧重点不同,不宜照搬。
七、AI安全网关上线三阶段:观察、告警、阻断
AI 安全网关上线三阶段
第一阶段:观察(2–4 周)
网关只记录不处置,统计 AI 应用分布、敏感数据命中情况和检测器的误报率。这个阶段的产出是一份"企业 AI 使用基线"。
第二阶段:告警
对高置信度风险发出告警,由安全团队人工复核,同时根据误报样本调整阈值与规则。
第三阶段:阻断
对误报率已降到可接受水平的策略开启自动处置,优先启用脱敏放行,对注入与违规内容再启用拦截。
跳过前两个阶段直接阻断,是 AI 安全网关项目常见的失败原因之一:误报会迅速消耗业务部门的耐心,最终导致策略被整体关闭。
八、AI安全网关选型要点
- 检测在哪里完成: 本地、厂商云端还是第三方模型服务?检测本身是否会把数据发出去?
- 用自己的样本测试: 用企业真实的敏感数据样本和攻击样本测准确率与误报率,而不是只看厂商报告。
- 延迟要分流式和非流式测: 尤其关注流式输出下首字返回时间的增加量。
- 脱敏能否还原: 只拦截不脱敏的方案,落地阻力会很大。
- 覆盖哪几条路径: 员工使用、应用调用、Agent 执行,分别靠哪种接入方式覆盖。
- 审计日志存在哪里、存什么: 是否默认不存原文、能否满足留存要求。
附:数据来源与参考资料
- OWASP LLM 应用十大风险(2025 版,LLM01–LLM10)(来源:OWASP GenAI Security Project)
- 《生成式人工智能服务管理暂行办法》2023-08-15 施行(来源:国家网信办等七部门)
- GB/T 45654-2025 生成式人工智能服务安全基本要求,2025-11-01 实施(来源:国家标准全文公开系统)
- 《网络数据安全管理条例》2025-01-01 施行(来源:中国政府网)
- 《人工智能生成合成内容标识办法》2025-09-01 施行(来源:国家网信办等四部门)
- 私有AI网关本地脱敏与审计(来源:犀思云官网产品资料)
说明:文中配置与代码为教学示意;时延、比例与容量为量级示意或示例估算,以实测为准;协议与法规以官方原文为准。