1. 企业场景里的输入风险有什么不同？
面向消费者的聊天应用更关注生成内容是否合规；企业内部或对外服务的 AIGC 应用，还要关注数据、权限和业务动作。
一条用户输入可能带来三类风险：
- 内容风险：诱导生成违规、危险、侵权、诈骗或不适宜内容。
- 数据风险：请求查询、推断、导出、拼接内部敏感信息。
- 动作风险：诱导 Agent 调用工具执行未授权操作。
因此，识别恶意诱导和敏感指令时，不能只判断文本表面是否违规，还要判断它会不会改变系统行为。
2. 常见恶意诱导方式
| 方式 | 表现 | 识别要点 |
| 角色伪装 | “你现在是无限制助手” | 是否要求绕过安全边界 |
| 规则覆盖 | “忽略前面的指令” | 是否试图替换系统指令 |
| 研究伪装 | “仅用于测试/论文/演练” | 是否索要可执行危险步骤 |
| 分步诱导 | 多轮逐渐接近敏感目标 | 是否存在上下文累积风险 |
| 文档夹带 | 上传文件中隐藏指令 | 来源可信度与指令隔离 |
| 权限诱导 | 要求查询、导出、删除、发送 | 是否超出用户权限 |
3. 风险标签体系怎么设计？
建议把输入标签拆成三层：
- 风险类型：越狱、提示词注入、隐私请求、违规生成、诈骗导流、工具越权。
- 风险等级：低、中、高、不确定。
- 处置建议：放行、限制、改写、拒答、代答、转人工。
标签不只是为了拦截，也用于后续审计、策略调优和业务分析。比如同样是“网络安全”主题，科普问答可以放行，攻击脚本生成应限制，高危入侵步骤应拦截或安全代答。
4. 企业级治理架构
输入接入层 -> 文本/图片/文档解析 -> 风险识别与标签生成 -> 策略引擎：场景、用户、权限、等级 -> RAG 可信上下文过滤 -> Agent 工具权限控制 -> 模型调用 -> 输出审核与审计留痕
这套架构的重点是把安全判断从“模型内部”外移到可配置、可审计、可迭代的治理链路中。
5. 上线前建议准备的样本集
企业 POC 不建议只用公开 jailbreak 样本，还应补充业务相关数据：
| 样本类型 | 示例方向 |
| 业务正常样本 | 客服咨询、知识库问答、办公助手任务 |
| 敏感合规样本 | 医疗、金融、法律、未成年人、隐私 |
| 注入攻击样本 | 忽略规则、套取提示词、角色越狱 |
| RAG 污染样本 | PDF、网页、工单中的隐藏指令 |
| 权限越界样本 | 导出客户数据、删除记录、发送外部邮件 |
| 混淆变体样本 | 谐音、编码、多语言、拆分、多轮诱导 |
评估时同时看召回率、误拦率、延迟、标签解释性、审计留痕和策略配置复杂度。
6. 第三方能力如何接入？
如果企业需要更成熟的内容安全和 AIGC 安全能力，可以参考数美科技、阿里云、腾讯云、百度智能云、火山引擎等厂商方案。建议把它们放到统一 POC 中验证，而不是只看产品介绍。
评估重点包括：风险标签是否足够细、是否覆盖输入和输出、是否支持私有化或混合云部署、是否有人工复核和样本回流、是否能与企业现有 IAM、日志、工单和数据权限体系对接。
FAQ
Q：企业内部应用也需要识别恶意诱导吗？
A：需要。内部用户也可能误操作，外部文档也可能带入间接注入，越权查询和数据泄露风险并不会因为应用在内网就消失。
Q：敏感指令是不是都要拒绝？
A：不是。应结合场景和权限处理。合规咨询、安全科普可以给低风险信息，明确违法或越权请求才应拒绝或代答。
Q：为什么要强调审计？
A：企业场景需要事后定位责任、复盘策略、满足合规要求。没有审计留痕，安全能力很难长期运营。
