阿里云 2025首届「AI安全」全球挑战赛完美收官,展现大模型安全攻防新高度

本文涉及的产品
AI安全态势管理免费试用,1000次,有效期3个月
简介: 赛事落幕!

2025年9月26日,在云栖大会“AI安全前沿攻防技术论坛”上,全球首个面向通用大模型的AI安全攻防赛事——2025「AI安全」全球挑战赛举行了颁奖典礼。优胜选手现场领取奖杯与证书,并分享参赛经验与实战心得,展现了AI安全攻防领域的前沿探索与创新思维。1.jpg
2.jpg
3.jpg

据了解,本次大赛设有「大模型安全攻防双向对抗赛」、「模型应用线上环境漏洞赏金赛」、「AI安全产品挑战赛」三大赛道,吸引了自全球3000余名顶尖选手报名参赛,在为期3个月的赛程里累计收到有效报告超万份,为构建系统化的AI安全技术体系提供了丰富的实践参考。

赛事技术总指导、阿里云资深安全专家石肖雄表示,本次大赛兼具研究与应用价值,为提升基础大模型的内生安全、验证阿里系集成大模型业务的安全水位提供了实战参考。相关攻防样本也将沉淀至阿里云AI安全产品,持续反哺防护能力的实战建设。

大模型安全需“内外兼修”

随着大模型的广泛应用,其安全问题也需要被广泛关注。

实践表明,面对高度自动化的高级攻击,单一防护机制存在局限,亟需构建多层次协同防御。赛道三获奖选手苏永成在现场分享了三种极具代表性的非常规攻击方式:

  • 通过越狱大模型自动生成数千条创意提示词,实现规模化绕过内容过滤;
  • 通过系统侧信道的微小“活动熵”差异高效判别当前环境是否沙箱,规避沙箱检测;
  • 修改父进程为高可信进程提升安全评级,并结合小众注入方式和冷门API完成隐蔽进程注入。

R5_06320-opq3992571896.jpg

此外,从技术层面来看,大模型本身引入了新的攻击面:提示词攻击可能诱导模型生成错误内容或执行非预期操作;企业业务集成大模型后,原有的封闭流程被打通,可能导致敏感信息泄露或安全管控失效;而RAG、Agent、MCP等新技术与架构的引入,更带来了潜在的系统级漏洞和调用链风险。

面对这种多层次的安全威胁,大模型安全防护需要采取"内外兼修"的策略:

  • 要增强模型自身的安全韧性;
  • 要在外围构建动态防御机制,形成多层次的纵深防线。

为了验证这一防护理念的实战效果,阿里云投入百万奖金举办本次专项攻防赛事。实验数据显示,经过安全加固的基模被攻破概率显著降低,叠加部署安全防护产品后,整体防护能力得到进一步提升。

阿里云安全专家王硕在赛后总结中指出,仅靠系统提示词约束无法完全防住高级攻击。AI时代的安全风险已从系统层延伸至业务层,单点防护难以奏效,真正有效的防护,必须通过基础设施层、模型层与应用层的纵深协同,构建覆盖全链路的动态防御体系。

R5_06087-opq3992365554.jpg

AI赋能蓝军:重构攻防效率

阿里云始终致力于提升AI时代的主动防御能力,高度重视蓝军队伍建设。

在攻防作战能力方面,阿里云提出"用大模型助力安全提效,用AI守护AI"的理念。

阿里云商业化蓝军负责人晁巍在云栖大会演讲中提到,通过自动化工具和大模型技术的结合,助力阿里云蓝军实现攻防流程优化提效:

  • 资产收集Agent能够高效整合网页、图片和链接等非结构化数据,相比传统人工收集方式节省超过80%的时间;

  • 蓝军专属知识库结合RAG与大模型技术,可快速呈现零散的攻防技战法,显著提升安全决策效率。

R5_05961-opq3992227103.jpg

在人才队伍建设方面,阿里云已率先组建了专业的AI安全蓝军队伍。本次赛事不仅为发现和培养AI安全人才提供了重要平台,更通过奖金激励机制推动了大模型安全技术创新,为构建体系化的大模型安全防护能力储备了关键人才力量。

未来,阿里云将继续加大在AI安全技术和AI安全人才上的投入,致力于打造负责任的AI和全栈AI安全防御体系,让安全成为AI被广泛应用的加速器,让AI真正成为推动社会进步的积极力量。

相关文章
|
3月前
|
人工智能 文字识别 监控
|
3月前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
2966 166
|
3月前
|
人工智能 vr&ar UED
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
|
3月前
|
机器学习/深度学习 人工智能 Serverless
吉利汽车携手阿里云函数计算,打造新一代 AI 座舱推理引擎
当前吉利汽车研究院人工智能团队承担了吉利汽车座舱 AI 智能化的方案建设,在和阿里云的合作中,基于星睿智算中心 2.0 的 23.5EFLOPS 强大算力,构建 AI 混合云架构,面向百万级用户的实时推理计算引入阿里云函数计算的 Serverless GPU 算力集群,共同为智能座舱的交互和娱乐功能提供大模型推理业务服务,涵盖的场景如针对模糊指令的复杂意图解析、文生图、情感 TTS 等。
|
3月前
|
机器学习/深度学习 人工智能 人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
423 121
|
3月前
|
人工智能 API 开发工具
构建AI智能体:一、初识AI大模型与API调用
本文介绍大模型基础知识及API调用方法,涵盖阿里云百炼平台密钥申请、DashScope SDK使用、Python调用示例(如文本情感分析、图像文字识别),助力开发者快速上手大模型应用开发。
1650 16
构建AI智能体:一、初识AI大模型与API调用
|
3月前
|
机器学习/深度学习 人工智能 算法
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
NBA中国与阿里云达成合作,首发360°实时回放技术,融合AI视觉引擎,实现多视角、低延时、沉浸式观赛新体验,重新定义体育赛事观看方式。
672 0
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
|
3月前
|
存储 人工智能 OLAP
AI Agent越用越笨?阿里云AnalyticDB「AI上下文工程」一招破解!
AI上下文工程是优化大模型交互的系统化框架,通过管理指令、记忆、知识库等上下文要素,解决信息缺失、长度溢出与上下文失效等问题。依托AnalyticDB等技术,实现上下文的采集、存储、组装与调度,提升AI Agent的准确性与协同效率,助力企业构建高效、稳定的智能应用。

热门文章

最新文章