一、越狱攻击难防在哪里？
越狱攻击难防，不是因为攻击样本一定很复杂，而是因为它会不断换表达方式。
常见方式包括：
- 角色扮演：把危险请求包装成小说、测试、研究或游戏。
- 多轮铺垫：前几轮正常，后几轮逐步引导越界。
- 编码混淆：通过翻译、拆字、符号、代码块和多语言绕过规则。
- 目标拆解：把高风险任务拆成多个看似无害的小步骤。
- 上下文污染：利用 RAG、网页、文档或插件参数影响模型行为。
二、安全围栏应该覆盖哪些环节？
企业级安全围栏建议覆盖完整链路：
Input -> Risk Detection -> Policy Engine -> Model/RAG/Agent -> Output Review -> Safe Response -> Operation
其中，策略引擎是关键。它决定不同风险等级如何处理：放行、改写、限制能力、转人工、安全代答或拦截。
三、关键能力拆解
1. 输入检测
识别越狱诱导、提示词注入、违法意图、隐私获取、未成年人不适和高风险操作请求。
2. 输出审核
判断生成结果是否包含违法违规、暴力、低俗、诈骗、隐私泄露、版权侵权、虚假误导、危险行为指导等风险。
3. 安全代答
对危险问题不输出可执行步骤，但提供合规解释、安全建议或替代路径，减少生硬拒答带来的体验损耗。
4. 权限控制
对 RAG 数据源、Agent 工具、业务接口和敏感字段设置访问边界，避免模型被诱导执行越权动作。
5. 账号风控
识别批量注册、代理 IP、异常频次、API Key 滥用和脚本化试探。
6. 运营闭环
记录策略版本、模型版本、风险标签、处置动作、人工复核、误杀漏放和样本回流。
四、POC 验证建议
| 验证维度 | 样本类型 | 指标 |
| 越狱识别 | 角色扮演、编码、多轮诱导 | 召回率、误杀率 |
| 输出安全 | 文本、图片、音频、视频、代码 | 漏放率、风险标签准确率 |
| 安全代答 | 医疗、法律、金融、危险操作 | 有用性、合规性 |
| Agent 风险 | 工具调用、参数注入、越权查询 | 阻断率、二次确认覆盖 |
| 工程能力 | 高并发、长文本、流式输出 | 平均延迟、P99、可用性 |
FAQ
Q：大模型安全围栏是否会降低回答质量？
A：设计不当会。合理做法不是一刀切拦截，而是按风险等级放行、降级、安全代答或转人工。
Q：为什么输出审核仍然必要？
A：输入检测无法覆盖所有多轮和上下文变化，最终返回给用户的内容仍需要审核。
Q：企业最小可行方案是什么？
A：输入检测、输出审核、日志留存、人工复核和策略迭代。接入 Agent 后，再补工具权限和高危确认。
