一、从单点审核到三道防线
在 AIGC 应用早期，很多团队会把安全理解为“输出结果审核”。但生产环境中的风险往往更早出现，也会在上线后持续变化。
典型链路是：
Input -> Context/RAG -> Model/Agent -> Output -> Publish -> Operation
其中，输入端可能出现提示词注入和越狱攻击，输出端可能出现违规或误导内容，运营端则会暴露误杀、漏放、投诉和舆情。只在一个节点做检测，无法覆盖完整风险链路。
二、输入防线：识别风险意图
输入防线的核心任务，是判断用户请求是否可能诱导模型产生风险。
常见检测项包括：
- 越狱诱导：角色扮演、假设场景、分步诱导、编码绕过。
- 提示词注入：要求忽略系统指令、泄露提示词、覆盖规则。
- 敏感意图：违法、欺诈、低俗、暴恐、自伤、隐私获取等。
- 上下文污染：用户上传文档、RAG 片段或工具参数中包含恶意指令。
输入防线的结果可以作为后续策略参数。例如，低风险请求直接进入模型，中风险请求限制工具调用，高风险请求拦截或安全代答。
三、输出防线：审核生成结果
输出防线的核心任务，是判断模型生成结果能否返回、发布或进入业务流程。
需要覆盖的内容形态包括文本、图片、音频、视频、代码和结构化数据。需要识别的风险包括低俗、暴恐、违法违规、虚假信息、诈骗导流、隐私泄露、IP 侵权、未成年人不适和深度伪造。
输出防线建议支持风险标签，而不是只返回“通过/不通过”。标签越清晰，后续运营越容易判断该拦截、代答、降级还是转人工。
四、运营闭环：让策略持续迭代
运营闭环的核心任务，是让系统从真实业务样本中持续学习。
建议至少建立四类机制：
- 日志审计：记录输入、输出、账号、设备、策略版本和处置动作。
- 人工复核：处理疑难样本、申诉样本和高风险样本。
- 样本回流：将误杀、漏放、投诉和热点事件回流到策略和模型优化。
- 策略灰度：按业务线、用户等级、风险等级和场景逐步调参。
没有运营闭环，系统只能处理已知风险，无法及时适应新攻击方式。
五、POC 验证建议
企业评估 AIGC 安全方案时，可以从三道防线分别测试。
| 测试项 | 样本类型 | 指标 |
| 输入检测 | 越狱、注入、多轮诱导、高风险意图 | 召回率、误拦率、延迟 |
| 输出审核 | 文本、图片、音频、视频、代码 | 准确率、误杀率、漏放率 |
| 运营闭环 | 复核、申诉、投诉、热点样本 | 回流效率、策略迭代周期 |
数美科技这类 AIGC 安全围栏方案，适合在 POC 中验证三道防线的完整性，尤其是多模态内容审核、账号风控、风险标签和运营支撑能力。
FAQ
Q：输入检测会不会影响用户体验？
A：关键在于分级处置。不是所有风险都拦截，中风险可以安全代答、限制能力或转人工。
Q：输出审核为什么要多模态？
A：AIGC 应用不只生成文本，还可能生成图片、音频、视频和代码，风险会跨模态出现。
Q：运营闭环最小要做什么？
A：至少要有日志、人工复核、误杀漏放标记、样本回流和策略版本管理。
