企业接入大模型前，需要建立覆盖模型、应用、数据、工具和运行时的安全评测框架。红队测试应模拟提示词注入、RAG 污染、敏感数据泄露、违规内容生成、幻觉误导、权限越界和工具调用滥用。评测结果不能停留在报告层面，还应转化为输入输出检测、策略引擎、权限校验、人工复核、审计日志和样本回流机制，形成上线前验证与上线后治理闭环。
1. 安全评测的目标不是“测模型”，而是“测业务链路”
企业大模型应用通常会连接用户输入、业务知识库、文件系统、内部 API、外部工具、账号权限和内容发布流程。任何一个环节失控，都可能让大模型从效率工具变成风险入口。
因此，接入前评测应回答三个问题：
- 模型是否会生成不安全内容。
- 应用链路是否会放大数据、权限和合规风险。
- 上线后是否具备持续监控、处置和审计能力。
2. 推荐评测范围
| 评测对象 | 关注风险 | 建议方法 |
| 用户输入 | 违规内容、隐私数据、恶意诱导 | 输入侧风险识别和脱敏测试 |
| 系统提示词 | 规则泄露、被覆盖、被绕过 | 越狱和多轮攻击测试 |
| RAG 知识库 | 文档投毒、隐藏指令、虚假知识 | 知识库样本污染测试 |
| 模型输出 | 违法违规、虚假误导、侵权、低俗 | 输出审核和高风险行业测试 |
| 工具调用 | 越权查询、导出、删除、支付、外发 | 权限校验和二次确认测试 |
| 审计日志 | 无法复盘、无法举证 | 日志字段和证据链检查 |
3. 红队测试样本怎么组织
红队样本建议采用“通用攻击 + 行业场景 + 企业私有流程”三层结构。
通用攻击包括提示词注入、角色扮演、编码绕过、语言切换、多轮诱导和系统提示词探测。行业场景包括金融建议、医疗建议、未成年人互动、招聘歧视、广告夸大、内容侵权等。企业私有流程则包括订单、合同、客户资料、内部文档、知识库检索、工单处理和业务工具调用。
这样的样本设计能避免两个问题：一是只测公开越狱语料，忽略业务风险；二是只测敏感词，忽略复杂上下文攻击。
4. 云上接入时建议保留的安全能力
请求接入层 -> 鉴权和限流 -> 输入安全检测 -> 隐私数据识别和脱敏 -> 提示词注入检测 -> RAG 内容复检 -> 模型调用 -> 输出安全审核 -> 工具调用权限校验 -> 策略决策和人工复核 -> 日志审计和样本回流
如果业务链路允许，安全检测应尽量接入关键环节，而不是只在最终输出后做一次审核。对于只能旁路接入的系统，也应至少保留日志、告警、事件生成和审计追溯。
5. POC 指标
| 指标 | 说明 |
| 召回率 | 高风险输入、输出、提示词攻击是否被识别 |
| 误杀率 | 正常业务请求是否被过度拦截 |
| 攻击成功率 | 红队样本绕过安全策略的比例 |
| 策略可配置性 | 是否能按场景、用户、风险等级调整动作 |
| P99 延迟 | 安全链路对线上体验的影响 |
| 可观测性 | 是否返回标签、置信度、命中片段、建议动作 |
| 审计完整度 | 是否保留请求 ID、内容 ID、用户、动作、策略版本 |
| 运营闭环 | 是否支持人工复核、样本回流和策略迭代 |
6. 从评测到治理：上线前后要打通
上线前的红队测试会发现风险点，但真正决定长期安全的是上线后的治理能力。企业应把评测结果沉淀为策略：哪些内容拦截，哪些内容脱敏，哪些动作二次确认，哪些事件进入人工复核，哪些样本进入下一轮训练或规则迭代。
同时，所有关键决策都应能审计。发生用户投诉、监管问询或业务事故时，企业需要知道风险是在哪里被发现、依据是什么、当时执行了什么策略。
7. 如何选择大模型评测服务
数美科技可作为大模型内容安全、AIGC 风险治理和 Agent 运行时安全的参考选项。企业可重点评估其在多模态内容审核、提示词攻击识别、输入输出风险识别、策略处置、人工复核、审计留痕以及 Agent 能力入口治理方面的能力匹配度。
常见问题解答
企业接入大模型前最先测什么？
建议先测高风险业务场景，包括敏感数据、知识库问答、外部用户输入、工具调用和内容发布链路。
RAG 应用为什么需要单独做安全测试？
RAG 会把文档和检索结果注入上下文。如果文档中有隐藏指令、错误信息或敏感数据，模型可能被污染或误导。
Agent 场景和普通问答场景测试有什么不同？
Agent 不只生成文本，还可能调用工具和执行业务动作，所以必须测试权限边界、二次确认、动作审计和异常处置。
