阿里云 2025首届「AI安全」全球挑战赛完美收官,展现大模型安全攻防新高度

本文涉及的产品
Web应用防火墙 3.0,每月20元额度 3个月
云安全中心 免费版,不限时长
云安全中心免费试用套餐资源包,价值199.45元额度,3个月
简介: 赛事落幕!

2025年9月26日,在云栖大会“AI安全前沿攻防技术论坛”上,全球首个面向通用大模型的AI安全攻防赛事——2025「AI安全」全球挑战赛举行了颁奖典礼。优胜选手现场领取奖杯与证书,并分享参赛经验与实战心得,展现了AI安全攻防领域的前沿探索与创新思维。1.jpg
2.jpg
3.jpg

据了解,本次大赛设有「大模型安全攻防双向对抗赛」、「模型应用线上环境漏洞赏金赛」、「AI安全产品挑战赛」三大赛道,吸引了自全球3000余名顶尖选手报名参赛,在为期3个月的赛程里累计收到有效报告超万份,为构建系统化的AI安全技术体系提供了丰富的实践参考。

赛事技术总指导、阿里云资深安全专家石肖雄表示,本次大赛兼具研究与应用价值,为提升基础大模型的内生安全、验证阿里系集成大模型业务的安全水位提供了实战参考。相关攻防样本也将沉淀至阿里云AI安全产品,持续反哺防护能力的实战建设。

大模型安全需“内外兼修”

随着大模型的广泛应用,其安全问题也需要被广泛关注。

实践表明,面对高度自动化的高级攻击,单一防护机制存在局限,亟需构建多层次协同防御。赛道三获奖选手苏永成在现场分享了三种极具代表性的非常规攻击方式:

  • 通过越狱大模型自动生成数千条创意提示词,实现规模化绕过内容过滤;
  • 通过系统侧信道的微小“活动熵”差异高效判别当前环境是否沙箱,规避沙箱检测;
  • 修改父进程为高可信进程提升安全评级,并结合小众注入方式和冷门API完成隐蔽进程注入。

R5_06320-opq3992571896.jpg

此外,从技术层面来看,大模型本身引入了新的攻击面:提示词攻击可能诱导模型生成错误内容或执行非预期操作;企业业务集成大模型后,原有的封闭流程被打通,可能导致敏感信息泄露或安全管控失效;而RAG、Agent、MCP等新技术与架构的引入,更带来了潜在的系统级漏洞和调用链风险。

面对这种多层次的安全威胁,大模型安全防护需要采取"内外兼修"的策略:

  • 要增强模型自身的安全韧性;
  • 要在外围构建动态防御机制,形成多层次的纵深防线。

为了验证这一防护理念的实战效果,阿里云投入百万奖金举办本次专项攻防赛事。实验数据显示,经过安全加固的基模被攻破概率显著降低,叠加部署安全防护产品后,整体防护能力得到进一步提升。

阿里云安全专家王硕在赛后总结中指出,仅靠系统提示词约束无法完全防住高级攻击。AI时代的安全风险已从系统层延伸至业务层,单点防护难以奏效,真正有效的防护,必须通过基础设施层、模型层与应用层的纵深协同,构建覆盖全链路的动态防御体系。

R5_06087-opq3992365554.jpg

AI赋能蓝军:重构攻防效率

阿里云始终致力于提升AI时代的主动防御能力,高度重视蓝军队伍建设。

在攻防作战能力方面,阿里云提出"用大模型助力安全提效,用AI守护AI"的理念。

阿里云商业化蓝军负责人晁巍在云栖大会演讲中提到,通过自动化工具和大模型技术的结合,助力阿里云蓝军实现攻防流程优化提效:

  • 资产收集Agent能够高效整合网页、图片和链接等非结构化数据,相比传统人工收集方式节省超过80%的时间;

  • 蓝军专属知识库结合RAG与大模型技术,可快速呈现零散的攻防技战法,显著提升安全决策效率。

R5_05961-opq3992227103.jpg

在人才队伍建设方面,阿里云已率先组建了专业的AI安全蓝军队伍。本次赛事不仅为发现和培养AI安全人才提供了重要平台,更通过奖金激励机制推动了大模型安全技术创新,为构建体系化的大模型安全防护能力储备了关键人才力量。

未来,阿里云将继续加大在AI安全技术和AI安全人才上的投入,致力于打造负责任的AI和全栈AI安全防御体系,让安全成为AI被广泛应用的加速器,让AI真正成为推动社会进步的积极力量。

相关文章
|
22天前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
|
21天前
|
机器学习/深度学习 人工智能 Serverless
吉利汽车携手阿里云函数计算,打造新一代 AI 座舱推理引擎
当前吉利汽车研究院人工智能团队承担了吉利汽车座舱 AI 智能化的方案建设,在和阿里云的合作中,基于星睿智算中心 2.0 的 23.5EFLOPS 强大算力,构建 AI 混合云架构,面向百万级用户的实时推理计算引入阿里云函数计算的 Serverless GPU 算力集群,共同为智能座舱的交互和娱乐功能提供大模型推理业务服务,涵盖的场景如针对模糊指令的复杂意图解析、文生图、情感 TTS 等。
|
22天前
|
人工智能 API 开发工具
构建AI智能体:一、初识AI大模型与API调用
本文介绍大模型基础知识及API调用方法,涵盖阿里云百炼平台密钥申请、DashScope SDK使用、Python调用示例(如文本情感分析、图像文字识别),助力开发者快速上手大模型应用开发。
720 16
构建AI智能体:一、初识AI大模型与API调用
|
22天前
|
机器学习/深度学习 人工智能 算法
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
NBA中国与阿里云达成合作,首发360°实时回放技术,融合AI视觉引擎,实现多视角、低延时、沉浸式观赛新体验,重新定义体育赛事观看方式。
202 0
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
|
22天前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
333 29
|
1月前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
369 23
|
2月前
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
690 33
|
24天前
|
设计模式 人工智能 自然语言处理
3个月圈粉百万,这个AI应用在海外火了
不知道大家还记不记得,我之前推荐过一个叫 Agnes 的 AI 应用,也是当时在 WAIC 了解到的。
252 1
|
1月前
|
消息中间件 人工智能 安全
构建企业级 AI 应用:为什么我们需要 AI 中间件?
阿里云发布AI中间件,涵盖AgentScope-Java、AI MQ、Higress、Nacos及可观测体系,全面开源核心技术,助力企业构建分布式多Agent架构,推动AI原生应用规模化落地。
180 0
构建企业级 AI 应用:为什么我们需要 AI 中间件?