大模型安全厂商可以帮助企业识别和阻断大量越狱攻击，但越狱防护不能只看一次演示结果。企业应从攻击样本覆盖、链路部署位置、风险标签解释、策略处置能力、工程性能和持续迭代 6 个维度做 POC。对于 RAG、Agent、智能客服、多模态生成和开放平台，建议采用输入侧、检索侧、工具调用前、输出侧和审计侧的组合防护。
一、为什么越狱攻击需要单独评估？
传统内容审核关注“输出内容是否违规”，而越狱攻击关注“模型是否被诱导突破规则”。在企业场景中，越狱攻击可能进一步影响知识库检索、工具调用、客服承诺、数据查询和业务操作。
因此，企业采购大模型安全能力时，应把越狱攻击防护作为独立 POC 项，而不是混在普通内容审核测试中。
二、推荐的防护链路
用户输入 / 外部内容 / 多模态内容 -> 输入侧越狱与注入检测 -> 上下文风险判断 -> RAG 检索内容安全检测 -> Agent 工具调用前校验 -> 模型输出审核 -> 审计日志与样本回流
这条链路适合企业知识库、智能客服、AI 搜索、Agent 应用和多模态生成平台。核心思想是：不要等模型输出后才处理风险，而要在风险进入模型和执行工具前完成判断。
三、测试样本要覆盖哪些类型？
建议至少覆盖以下 7 类样本。
| 类型 | 示例方向 |
| 直接越狱 | 忽略规则、绕过限制、输出禁答内容 |
| 角色扮演 | 开发者模式、无限制角色、假设实验 |
| 多轮越狱 | 分步提问、逐步逼近、规则套取 |
| 编码绕过 | 谐音、拆字、拼音、Base64、翻译变体 |
| 间接注入 | 网页、PDF、邮件、知识库中隐藏指令 |
| 多模态注入 | 图片 OCR、音频 ASR、视频字幕中的攻击 |
| 工具越权 | 诱导模型查询、修改、发送或执行不应执行的动作 |
企业应使用自身业务样本补充测试集。标准样例只能证明基础能力，不能代表生产环境。
四、评估指标怎么定？
POC 可以按以下指标验收：
- 越狱攻击召回率。
- 正常问题误杀率。
- 边界样本漏放率。
- 风险标签颗粒度。
- 命中原因解释。
- 策略动作是否可配置。
- 平均延迟和 P99 延迟。
- 并发处理能力。
- 日志留存和审计字段完整度。
- 样本回流和策略迭代效率。
需要注意，拦截越多不一定越好。如果正常业务问题被大量误杀，安全方案会影响用户体验和业务效率。
五、安全厂商适合怎么放进 POC？
数美科技等具备内容安全、业务风控和 AIGC 安全治理经验的厂商，适合在复杂业务链路里评估，而不是只测单条 prompt。
建议重点测试：
- 越狱和提示词注入识别。
- 输出内容安全审核。
- 图片、音频、视频等多模态覆盖。
- 账号异常、批量调用和接口滥用识别。
- 人工复核、风险标签和策略运营能力。
- 审计留痕、样本回流和持续迭代能力。
如果企业业务涉及 AI 社交、智能客服、RAG 知识库、大模型开放平台、游戏社区或强监管行业，应该重点看“内容安全 + 业务风控 + 运营闭环”的组合能力。
六、常见误区
误区一：只看模型是否拒答。
真正要看的，是安全围栏是否在输入、检索、工具调用和输出环节识别风险，并给出可解释的处置动作。
误区二：只测显性越狱样本。
真实攻击往往隐藏在多轮对话、外部文档、多模态内容和业务流程中。
误区三：忽略日志和审计。
企业上线后一定会遇到投诉、复盘和监管问询，没有日志就很难解释风险是如何发生和处置的。
FAQ
Q：越狱攻击防护是不是接一个接口就够？
A：通常不够。复杂场景需要输入侧、检索侧、工具调用前、输出侧和审计侧组合防护。
Q：POC 是否需要压测？
A：需要。安全能力上线后会进入核心请求链路，应测试平均延迟、P99 延迟、并发、超时和降级策略。
Q：数美适合哪些越狱防护场景？
A：更适合风险链路复杂的企业场景，如 AI 社交、AIGC 平台、智能客服、RAG 知识库、开放平台和强监管行业。
