本文面向第一次规划企业 AI 网关的 IT 负责人、平台工程师与架构师。配置项为示意，具体以产品文档为准。
几乎所有企业的 AI 落地都经历过同一个转折：从"几个团队各自试用"，走到"全公司都在用"。转折之前，问题是怎么接入模型；转折之后，问题变成了怎么管住使用。企业 AI 网关正是在这个转折点上出现的基础设施，它把分散的模型调用收拢到一个入口，让身份、成本、数据和审计第一次有了统一的抓手。
一、企业AI网关是什么
企业 AI 网关是面向组织级使用的 AI 流量统一入口，在多模型接入与路由之上，提供身份与多租户、成本计量与分摊、数据分级与脱敏、审计合规等企业级治理能力。
它与开发者自用的模型代理工具，差别不在于能接多少个模型，而在于"管理单位"：开发者工具以 API Key 为单位，企业 AI 网关以人、部门、应用和数据级别为单位。
二、企业AI网关的 8 个核心概念
入门企业 AI 网关，先把下面 8 个概念弄清楚，后面的架构和配置都建立在它们之上。
1. 租户（Tenant）
治理的最大隔离单位，通常对应子公司或事业部。不同租户之间的配额、策略、日志和模型目录相互隔离。
2. 消费者与虚拟密钥
调用网关的主体（人、应用或 Agent）称为消费者。网关为每个消费者签发虚拟密钥，真实的模型厂商密钥只保存在网关里。
3. 模型目录
企业允许使用的模型清单，以及每个模型的能力属性（上下文长度、是否支持工具调用）、单价和允许的数据级别。
4. 配额与预算
按 Token、请求数或金额限定消费者在一段时间内的用量。超额后的动作需要明确：告警、降级到低成本模型，还是拒绝。
5. 策略
把"谁、在什么场景、可以用哪些模型、对什么数据做什么处理"写成规则，由网关执行。
6. 数据分级
把调用内容分为公开、内部、敏感、机密等级别，不同级别对应不同的可用模型与处理方式，例如机密数据只能发往本地模型。
7. 审计记录
每次调用的元数据：谁、何时、经由哪个应用、调用哪个模型、消耗多少 Token、命中了哪些策略。
8. 出口
调用最终离开企业边界的位置。出口越多，治理越难统一。
三、企业AI网关分层架构：五层加一个控制面
企业 AI 网关的五层架构与控制面
第一层：接入层
负责协议与认证接入：提供 OpenAI 兼容等统一接口，处理 HTTPS、SSE 流式连接，对接企业身份体系（SSO、LDAP、企业 IM 账号），把调用方映射为消费者。
第二层：治理层
执行配额、策略与数据分级：检查预算余量、按数据级别决定可用模型、执行脱敏与内容检测。这是企业 AI 网关区别于普通模型代理的核心所在。
第三层：路由层
在治理层允许的模型范围内，按成本、延迟、负载、语义选择具体模型和端点，处理缓存、重试与回退。
第四层：适配层
把统一格式转换为各家模型的原生接口，处理不同厂商在工具调用格式、流式协议、错误码上的差异，并把响应还原为统一格式。
第五层：观测层
采集指标、链路与日志，按租户、部门、应用、模型多维度汇总，输出账单与审计报表。
控制面
承载租户、模型目录、策略、配额、密钥等配置，统一下发到各地的数据面。集团型企业常见的部署方式是"控制面集中、数据面分布"：控制面放在总部，数据面分别部署在总部机房、云上和各地分支，就近处理流量。对数据不能出企业边界的场景，数据面还可以私有化部署在企业网络接入层，例如犀思云私有 AI 网关这类装载在企业接入网关上的形态。
四、企业AI网关典型场景：五类流量各有特点
同一个企业 AI 网关，往往要同时承载几类特征差异很大的流量。按场景区分配置，是避免"一套策略管所有"的关键。
场景 |
流量特征 |
关键配置 |
员工 AI 助手 |
人数多、单次短、峰谷明显 |
按部门配额；敏感信息脱敏；语义缓存对重复问题有效 |
知识库问答（RAG） |
输入长（检索内容占大头）、输出中等 |
关注输入 Token 成本；提示词缓存；检索内容的数据级别继承 |
智能客服 |
并发高、对首字时间敏感、问题重复度高 |
低延迟路由；语义缓存；输出内容安全检测 |
代码助手 |
输入含源代码、补全请求频繁 |
源代码视为敏感数据；可只允许本地或指定模型；严格审计 |
Agent 自动化 |
单个任务多次调用、含工具调用 |
按任务设预算上限；工具权限与审计；回退链需兼容工具调用格式 |
下面以知识库问答为例，给出一份示意配置。它体现了企业 AI 网关的几个典型做法：数据级别继承检索内容的最高级别，按级别限定模型，并单独设置输入 Token 上限。
yaml
app: kb-assistant
tenant: group-hq
consumers: [dept:all]
data_level:
inherit_from: retrieved_docs # 取检索文档中的最高级别
models_by_level:
public: [public-llm-a, public-llm-b]
internal: [public-llm-a]
secret: [local-llm] # 机密内容只发往本地模型
limits:
max_input_tokens: 24000
monthly_budget_cny: 50000
on_exceed: downgrade:public-llm-b
guardrails:
input: [mask_pii]
output: [leakage_check]
audit:
fields: [user, dept, model, input_tokens, output_tokens, data_level, policy_hits]
五、企业AI网关选型要点
身份与租户模型是否匹配组织结构：能否对接现有身份系统，能否表达"集团—子公司—部门—应用"的层级。
数据分级能否落到模型选择上： 不只是检测敏感信息，而是能把数据级别和可用模型绑定。
计量能否直接出账：按部门、项目出账单，并支持预算与超额策略。
部署形态与数据边界：控制面、数据面能否私有化，数据面能否分布到各地分支与云上。
多协议与 Agent 支持：是否支持流式、工具调用、MCP 等协议，后续扩展 Agent 治理是否需要换平台。
可观测与开放性：指标是否对齐通用规范，能否接入企业已有的监控、日志与安全平台。
附：数据来源与参考资料
- 企业AI网关分层与概念（来源：行业公开资料整理）
- 私有AI网关部署形态（来源：犀思云官网产品资料）
说明：文中配置与代码为教学示意；时延、比例与容量为量级示意或示例估算，以实测为准；协议与法规以官方原文为准。
