阿里云与Omdia联合发布AI安全报告,引领构建全新AI安全范式

本文涉及的产品
Web应用防火墙 3.0,每月20元额度 3个月
云安全中心免费试用套餐资源包,价值199.45元额度,3个月
云安全中心 免费版,不限时长
简介: 喜报~

9月26日,在2025云栖大会「AI安全前沿攻防技术」分论坛上,阿里云和国际领先咨询机构Omdia联合发布报告《On the Radar: Alibaba Cloud champions holistic approach to AI safety and security》。报告系统介绍了AI安全威胁的现状,并提出全新AI安全框架。

报告显示,将安全与数据隐私视为采用AI主要障碍的企业比例,已从2023年的11%急剧上升至2024年的43%。

这一趋势正在促使行业构建更完善的AI防护体系。

推出全新AI安全范式,实现“全局可控与主动防御”

Omdia首席分析师苏廉节在论坛演讲时表示,企业在构建、部署与使用AI技术的过程中,安全威胁正呈现“纵向贯穿全链路,横向蔓延多场景”的复合演进趋势,AI系统需要全方位防护与覆盖。

为此报告提出了全新的AI安全范式,该框架通过打破基础设施、平台和应用之间的壁垒,构建统一的防护体系,覆盖从数据输入到模型输出的AI全生命周期,并可与现有云安全解决方案实现无缝集成,减少安全盲点,同时增强对复杂威胁的响应与防御能力,使企业从被动应对安全事件,转向主动掌控AI系统安全。

image.png

该AI安全范式的核心在于AI驱动,使安全能力“跑在攻击前面”,具体体现为:

  • 自主响应:AI驱动的安全模型和自动响应机制简化不同安全产品的协调。面对提示注入或IP泄漏事件时,自动响应可将处置时间从数小时缩短至数分钟,无需人工干预。
  • 持续评估:企业通过系统化方法持续评估AI系统。红队智能体模拟真实攻击,对漏洞进行压力测试,及时发现潜在弱点。
  • 先发制人:AI安全系统在潜在威胁形成前识别风险,通过系统化评估从提示输入到模型决策及工具调用的完整操作序列,使组织在攻击者利用漏洞前进行检测与缓解。

该AI安全范式的另一核心是实现“全局可控”:

  • 跨环境管理:支持企业在公有云、私有云及混合环境中部署AI,实现跨环境的统一安全防护。
  • 端到端可视化:对AI系统从数据输入到模型输出的全链路进行监控,整合威胁情报、运营和云安全,实现对潜在攻击的实时检测与响应。
  • 态势感知:基于图分析关联碎片化AI系统中的数据,跨系统整合孤立警报,形成全面事件,更清晰掌握整体攻击面,减少业务中断。

2025「AI安全」全球挑战赛核心洞察首次披露

基于阿里巴巴与阿里云联合举办的全球首个AI通用大模型安全攻防赛事——2025「AI安全」全球挑战赛的实战攻防成果,报告首次系统性披露了当前大模型在真实对抗场景中暴露出的关键风险与新兴攻击手法,这为AI安全框架的设计提供了重要参考。

赛事核心发现

赛道一「大模型安全攻防双向对抗赛」主要聚焦在大模型越狱攻击。比赛数据显示,70%以上的攻击样本采用“角色扮演”策略,30%利用“思维劫持”诱导模型忽略系统指令,20%以上通过“加密混淆”绕过检测,且选手倾向于使用组合策略而非单一方法。比赛首次观察到“无思考攻击”(nothink attack)这一新型攻击模式,即通过自然语言指令诱导混合推理模型关闭链式思维机制,从而绕过内置安全逻辑。测试结果表明,强化内部加固与外挂防护可显著提升模型的鲁棒性。

赛道二「模型应用线上环境漏洞赏金赛」则提示生成式AI与传统系统集成后引发的新风险不容小觑。AI深入业务领域后,可能会打破原来封闭的业务生态,从而引入新的攻击面,比如最近针对邮件智能体的攻击就是典型的大模型场景攻击。

赛道三「AI安全产品挑战赛」构建了企业应用最常见三个靶场环境(智能问答助手、代码开发助手、AI Agent平台),预埋当前最具代表性的AI风险问题,如提示词攻击、恶意代码执行与MCP供应链攻击等,设置不同AI安全产品,让选手层层闯关。比赛结果验证一个显性的结论,接入安全产品的场景,防御成功率显著更高;而没有接入的,明显更容易被攻破。

同时,有些攻击方式超出预期,比如“链式组合攻击”——提示词攻击绕过护栏,再利用工具污染调用非预期工具,最后结合业务逻辑漏洞完成攻击。这种复合攻击像“拼装炸弹”,每一环单独看风险都比较小,但叠加在一起就形成致命打击。这对AI安全产品防御最大的启发是:AI防御体系不能只看单点,而要从端到端的链路思维设计防护。

报告已开启下载

目前报告已开启下载,点击阅读原文或扫描下方二维码,即可查看完整报告。
image.png

相关文章
|
26天前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
|
25天前
|
机器学习/深度学习 人工智能 Serverless
吉利汽车携手阿里云函数计算,打造新一代 AI 座舱推理引擎
当前吉利汽车研究院人工智能团队承担了吉利汽车座舱 AI 智能化的方案建设,在和阿里云的合作中,基于星睿智算中心 2.0 的 23.5EFLOPS 强大算力,构建 AI 混合云架构,面向百万级用户的实时推理计算引入阿里云函数计算的 Serverless GPU 算力集群,共同为智能座舱的交互和娱乐功能提供大模型推理业务服务,涵盖的场景如针对模糊指令的复杂意图解析、文生图、情感 TTS 等。
|
26天前
|
机器学习/深度学习 人工智能 算法
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
NBA中国与阿里云达成合作,首发360°实时回放技术,融合AI视觉引擎,实现多视角、低延时、沉浸式观赛新体验,重新定义体育赛事观看方式。
230 0
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
|
26天前
|
存储 人工智能 OLAP
AI Agent越用越笨?阿里云AnalyticDB「AI上下文工程」一招破解!
AI上下文工程是优化大模型交互的系统化框架,通过管理指令、记忆、知识库等上下文要素,解决信息缺失、长度溢出与上下文失效等问题。依托AnalyticDB等技术,实现上下文的采集、存储、组装与调度,提升AI Agent的准确性与协同效率,助力企业构建高效、稳定的智能应用。
|
26天前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
366 29
|
1月前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
418 24
|
2月前
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
712 36
|
28天前
|
设计模式 人工智能 自然语言处理
3个月圈粉百万,这个AI应用在海外火了
不知道大家还记不记得,我之前推荐过一个叫 Agnes 的 AI 应用,也是当时在 WAIC 了解到的。
282 1
|
1月前
|
消息中间件 人工智能 安全
构建企业级 AI 应用:为什么我们需要 AI 中间件?
阿里云发布AI中间件,涵盖AgentScope-Java、AI MQ、Higress、Nacos及可观测体系,全面开源核心技术,助力企业构建分布式多Agent架构,推动AI原生应用规模化落地。
200 0
构建企业级 AI 应用:为什么我们需要 AI 中间件?
|
1月前
|
人工智能 算法 Java
Java与AI驱动区块链:构建智能合约与去中心化AI应用
区块链技术和人工智能的融合正在开创去中心化智能应用的新纪元。本文深入探讨如何使用Java构建AI驱动的区块链应用,涵盖智能合约开发、去中心化AI模型训练与推理、数据隐私保护以及通证经济激励等核心主题。我们将完整展示从区块链基础集成、智能合约编写、AI模型上链到去中心化应用(DApp)开发的全流程,为构建下一代可信、透明的智能去中心化系统提供完整技术方案。
213 3