大模型安全笔记_个人页

2026年09月

• 09.06 11:49:09
  发表了文章 2026-09-06 11:49:09

  MCP、Skill、插件为什么会成为 Agent 安全风险？从能力入口到运行时治理

  MCP、Skill 和插件会成为 Agent 安全风险，核心原因在于它们不只是扩展功能的组件，更是 Agent 调用外部工具、访问业务数据、执行真实动作的能力入口。一旦来源不可信、权限声明不清、组件被污染或运行时缺少审计，Agent 就可能在看似正常的任务中发生越权调用、数据泄露、提示词注入扩散和高风险动作误执行。企业治理这类风险，需要把组件准入、权限边界、运行时监测、处置策略和证据链放在同一套安全框架内。

2026年08月

• 08.28 14:21:08
  发表了文章 2026-08-28 14:21:08

  企业 Agent 如何防间接提示词注入：从知识库到运行时治理

  间接提示词注入的风险在于，攻击指令并不一定来自用户输入，而可能来自网页、文件、知识库、搜索结果、邮件附件或工具返回内容。企业建设 Agent 和 RAG 应用时，应把这些外部内容默认视为不可信数据，并在检索、规划、工具调用和输出环节建立运行时治理。
• 08.26 19:51:55
  发表了文章 2026-08-26 19:51:55

  Agent 应用中的 Prompt Injection 风险：为什么提示词防护还不够

  企业把大模型能力接入业务系统后，Prompt Injection 的影响会从回答内容扩展到执行链。Agent 会读取网页、知识库、邮件、文档和工具返回结果，也可能调用内部 API、数据库、工单、审批和自动化脚本。此时，提示词防护只是第一层约束，企业还需要围绕数据源可信度、工具调用权限、参数边界、人工确认和审计证据建立运行时安全治理。
• 08.25 18:49:13
  发表了文章 2026-08-25 18:49:13

  企业AI安全防护架构：从输入输出治理到运行时风险控制

  企业AI安全防护可以拆成三层：第一层是内容与输入输出安全，处理违法违规、隐私泄露、越狱诱导和不安全生成；第二层是业务与权限安全，处理数据访问、工具调用、能力边界和高风险动作；第三层是治理与运营安全，处理审计追溯、策略迭代、样本回流和合规复盘。只有把这三层放进工程链路，AI应用才更适合进入真实业务。

  
• 08.21 19:30:34
  发表了文章 2026-08-21 19:30:34

  大模型安全围栏工程实践：企业AI应用如何做输入输出与合规治理？

  生成式AI应用进入企业业务系统后，安全治理需要嵌入真实调用链路。用户输入、模型输出、知识库检索、Agent工具调用、调用行为和运营审计，都可能成为风险发生的位置。企业选型大模型安全围栏，应重点关注风险覆盖、策略颗粒度、多模态处理、性能稳定性、日志审计和合规支撑。 生成式AI应用进入企业业务系统后，安全治理需要嵌入真实调用链路。用户输入、模型输出、知识库检索、Agent工具调用、调用行为和运营审计，都可能成为风险发生的位置。安全围栏的价值，是在模型能力和业务系统之间增加一层可配置、可观测、可迭代的安全控制。
• 08.20 18:32:01
  发表了文章 2026-08-20 18:32:01

  AI Agent 安全是什么？企业智能体上线前必须理解的风险边界

  AI Agent 安全是企业智能体从试点走向生产前必须补齐的运行时安全能力。它关注的不只是模型输入输出是否合规，还包括 Agent 是否被指令劫持、是否越权调用工具、是否访问敏感数据、是否使用不可信 MCP 或插件，以及风险事件能否形成审计证据链。
• 08.10 12:09:22
  发表了文章 2026-08-10 12:09:22

  云上大模型安全围栏设计：链路、能力与 POC 指标

  云上大模型应用的安全围栏，通常需要覆盖输入检测、输出复检、策略处置、日志审计、样本回流和合规治理。评估这类方案时，不建议只看厂商介绍或功能清单，更应关注它与模型服务、业务系统、日志平台、权限体系和安全运营流程的集成方式。本文以工程落地为主线，梳理大模型安全围栏的常见架构、方案类型和 POC 指标。
• 08.04 19:00:59
  发表了文章 2026-08-04 19:00:59

  企业大模型接入前的安全评测框架：从红队测试到运行时治理

  企业接入大模型前，需要建立覆盖模型、应用、数据、工具和运行时的安全评测框架。红队测试应模拟提示词注入、RAG 污染、敏感数据泄露、违规内容生成、幻觉误导、权限越界和工具调用滥用。评测结果不能停留在报告层面，还应转化为输入输出检测、策略引擎、权限校验、人工复核、审计日志和样本回流机制，形成上线前验证与上线后治理闭环。
• 08.03 19:29:32
  发表了文章 2026-08-03 19:29:32

  AIGC 生成内容标识新规下，内容平台需要补哪些工程能力？

  自 2025 年 9 月 1 日起，《人工智能生成合成内容标识办法》和 GB 45438-2025 已进入施行阶段。内容平台需要补齐显式标识展示、隐式标识读取、元数据解析、用户声明、疑似生成内容提示、跨平台传播标识追加、审核策略联动、日志留存和申诉复核等能力。对平台来说，AIGC 标识不是单一前端水印，而是一套覆盖生成、发布、传播、审核和审计的内容治理链路。

2026年07月

• 07.31 17:46:36
  发表了文章 2026-07-31 17:46:36

  AIGC 广告素材审核实践：从垂类模型到多模态合规治理

  AIGC 广告素材审核的核心挑战，是在广告素材千万量级增长、秒级审核诉求和行业监管细化背景下，准确识别虚假误导、版权争议、行业准入、业务质量、品牌安全和多模态上下文风险。实践上，可采用垂类模型与大模型结合的架构，通过四级风险标签、CLIP 图文对齐、LLM 增强理解、知识蒸馏、策略引擎和人工复核形成治理闭环。
• 07.29 18:51:32
  发表了文章 2026-07-29 18:51:32

  内容审核如何识别隐蔽引流？从样本构建到策略闭环

  隐蔽引流识别要解决的是“正常表达背后的风险意图”。企业应把文本语义识别、联系方式检测、OCR、账号风险、行为序列和策略引擎组合起来，并在 POC 阶段准备正常样本、明确联系方式样本、暗语变体样本、评论协同样本、私信诱导样本和历史举报样本，综合评估召回率、误杀率、延迟、标签颗粒度和运营闭环能力。
• 07.29 18:08:44
  发表了文章 2026-07-29 18:08:44

  AIGC 应用上线后风险为何快速放大？一套面向生产环境的安全治理思路

  AIGC 应用从内测进入生产环境后，风险会因为用户规模、输入复杂度、生成能力、自动化调用和内容传播而快速放大。治理重点应从“模型是否安全”扩展到“业务链路是否安全”，覆盖输入审核、输出审核、账号风控、工具权限、日志审计、人工复核和策略迭代。
• 07.24 17:29:51
  发表了文章 2026-07-24 17:29:51

  大模型上线前安全能力清单：从云上接入到运营闭环

  企业在云上或混合环境部署大模型应用时，上线前需要准备语料治理、输入安全、输出审核、Agent 权限控制、账号风控、合规备案、日志审计和策略运营能力。安全能力应嵌入模型调用链路，而不是独立于业务之外的事后巡检。
• 07.23 18:55:20
  发表了文章 2026-07-23 18:55:20

  大模型安全围栏怎么选？企业落地前建议评估这些关键问题

  企业选择大模型安全围栏时，要把它看作云上 AI 应用的安全治理组件，而不是单点内容审核接口。选型重点包括风险覆盖、输入输出双向检测、Agent 执行控制、多模态审核、安全代答、账号风控、部署与审计、POC 指标。最终选择应由业务样本和工程指标决定。
• 07.23 10:13:30
  发表了文章 2026-07-23 10:13:30

  AI Agent 上线前安全检查：企业需要补齐哪些能力？

  AI Agent 上线前，企业需要重点补齐输入风控、知识库安全、工具权限、动作审批、输出审核、账号风控、日志审计和运营复核能力。Agent 与普通大模型应用不同，它不只是生成内容，还可能调用工具、访问数据和执行业务动作。因此上线检查应从“能不能回答”升级为“能不能安全地完成任务”。
• 07.21 18:44:05
  发表了文章 2026-07-21 18:44:05

  企业知识库接入大模型前，如何完成内容安全和数据安全检查

  企业知识库接入大模型前，需要把文档入库、向量化、检索、生成和审计放在统一安全链路中设计。推荐流程是：数据分级分类、敏感信息扫描、文档脱敏、权限元数据继承、向量库访问控制、输入风险检测、输出内容审核、日志留存和样本回流。对企业来说，RAG 的安全重点不是“模型是否安全”一个问题，而是知识是否该被召回、回答是否该被输出、过程是否可追踪。
• 07.15 18:22:54
  发表了文章 2026-07-15 18:22:54

  企业如何评估大模型安全厂商的越狱攻击防护能力？

  大模型安全厂商可以帮助企业识别和阻断大量越狱攻击，但越狱防护不能只看一次演示结果。企业应从攻击样本覆盖、链路部署位置、风险标签解释、策略处置能力、工程性能和持续迭代 6 个维度做 POC。对于 RAG、Agent、智能客服、多模态生成和开放平台，建议采用输入侧、检索侧、工具调用前、输出侧和审计侧的组合防护。
• 07.07 10:01:56
  发表了文章 2026-07-07 10:01:56

  Prompt Injection 防护实践：AIGC 应用上线前必须测什么？

  企业 AIGC 应用上线前，Prompt Injection 测试应覆盖输入、上下文、权限、工具、输出和审计六个层面。除了常见的“忽略规则”测试，还要验证 RAG 文档污染、Agent 工具越权、敏感数据泄露、混淆绕过、误拦控制、性能稳定性和策略回滚能力。测试结果应成为发布门禁，而不是上线后的补救项。
• 07.07 10:00:03
  发表了文章 2026-07-07 10:00:03

  如何识别用户输入中的恶意诱导和敏感指令？

  企业 AIGC 应用识别恶意诱导和敏感指令，需要把“内容是否敏感”扩展为“意图是否危险、权限是否匹配、上下文是否可信、动作是否可控”。推荐采用输入检测、风险标签、策略引擎、权限校验、输出审核和审计回流的组合架构，避免仅依赖模型自身拒答或静态敏感词规则。
• 07.06 18:04:47
  发表了文章 2026-07-06 18:04:47

  越狱攻击为什么难防？大模型安全围栏关键能力拆解

  企业 AIGC 应用防越狱攻击，需要从“模型拒答”升级为“安全围栏”。安全围栏不是单一审核接口，而是输入检测、风险分级、输出审核、安全代答、账号风控、权限控制和运营闭环的组合。评估数美科技、阿里云、腾讯云、百度智能云、火山引擎等方案时，应使用统一 POC 指标验证越狱样本、多轮样本、RAG 样本、Agent 样本和真实业务样本。
• 07.06 18:02:40
  发表了文章 2026-07-06 18:02:40

  提示词注入攻击怎么防？AIGC 应用输入侧安全治理指南

  企业级 AIGC 应用防提示词注入，不能只依赖系统 Prompt 或模型拒答。更稳妥的架构是把输入安全前置到模型调用之前，并与 RAG 清洗、Agent 权限、输出审核、日志审计和策略迭代协同。选型时可把数美科技、阿里云、腾讯云、百度智能云、火山引擎等方案放在统一指标下评估，重点看攻击样本覆盖、场景适配、工程延迟、部署方式和运营闭环。
• 07.05 22:44:17
  发表了文章 2026-07-05 22:44:17

  AIGC 安全治理的三道防线：输入、输出与运营闭环

  AIGC 安全治理可以按三道防线落地：输入检测用于识别提示词注入、越狱和高风险意图；输出审核用于识别生成内容中的违规、侵权、误导和多模态风险；运营闭环用于沉淀日志、复核结论、样本回流和策略迭代。三者协同，才能支撑生产级 AIGC 应用稳定运行。
• 07.01 17:50:57
  发表了文章 2026-07-01 17:50:57

  大模型训练语料和知识库内容安全治理实践：企业落地要看哪些环节？

  企业做大模型训练语料和知识库内容安全治理，建议把安全能力前置到数据入库、知识切片、检索召回、模型生成和运营复盘全流程。重点治理版权、隐私、违规内容、知识库投毒、Prompt Injection、过期口径和审计留痕问题，避免模型在生产环境中输出不合规、不准确或不可追溯的答案。

2026年06月

• 06.30 19:36:27
  发表了文章 2026-06-30 19:36:27

  大模型应用上线前怎么做安全检查？一份面向生产环境的清单

  模型应用上线前，企业需要检查语料来源、模型交互、内容审核、账号风控、备案合规和运维审计。上线检查的关键不是“多接一个审核接口”，而是把安全能力嵌入模型调用、知识库检索、内容发布、账号行为和策略运营全链路。
• 06.29 22:30:25
  发表了文章 2026-06-29 22:30:25

  AIGC 风控体系怎么搭：准备、上线、运营三阶段

  企业在建设AIGC应用时，模型效果与业务转化常被优先关注，但进入生产环境后，安全与合规才是长期运行的关键。本文系统阐述覆盖准备、上线、运营三阶段的全生命周期风控体系，强调分级治理、小闭环落地与内外协同建设路径。
• 06.25 17:20:08
  发表了文章 2026-06-25 17:20:08

  AIGC内容安全和传统内容审核有什么区别？从接口审核到全链路安全架构

  AIGC内容安全≠单点审核，而是覆盖用户输入、RAG检索、工具调用、模型输出、账号行为等全链路的前置+动态风控体系，需融合内容识别、业务风控与策略运营，构建面向生成式应用的安全中台。