阿里云 2025首届「AI安全」全球挑战赛完美收官,展现大模型安全攻防新高度

本文涉及的产品
Web应用防火墙 3.0,每月20元额度 3个月
云安全中心免费试用套餐资源包,价值199.45元额度,3个月
云安全中心 免费版,不限时长
简介: 赛事落幕!

2025年9月26日,在云栖大会“AI安全前沿攻防技术论坛”上,全球首个面向通用大模型的AI安全攻防赛事——2025「AI安全」全球挑战赛举行了颁奖典礼。优胜选手现场领取奖杯与证书,并分享参赛经验与实战心得,展现了AI安全攻防领域的前沿探索与创新思维。1.jpg
2.jpg
3.jpg

据了解,本次大赛设有「大模型安全攻防双向对抗赛」、「模型应用线上环境漏洞赏金赛」、「AI安全产品挑战赛」三大赛道,吸引了自全球3000余名顶尖选手报名参赛,在为期3个月的赛程里累计收到有效报告超万份,为构建系统化的AI安全技术体系提供了丰富的实践参考。

赛事技术总指导、阿里云资深安全专家石肖雄表示,本次大赛兼具研究与应用价值,为提升基础大模型的内生安全、验证阿里系集成大模型业务的安全水位提供了实战参考。相关攻防样本也将沉淀至阿里云AI安全产品,持续反哺防护能力的实战建设。

大模型安全需“内外兼修”

随着大模型的广泛应用,其安全问题也需要被广泛关注。

实践表明,面对高度自动化的高级攻击,单一防护机制存在局限,亟需构建多层次协同防御。赛道三获奖选手苏永成在现场分享了三种极具代表性的非常规攻击方式:

  • 通过越狱大模型自动生成数千条创意提示词,实现规模化绕过内容过滤;
  • 通过系统侧信道的微小“活动熵”差异高效判别当前环境是否沙箱,规避沙箱检测;
  • 修改父进程为高可信进程提升安全评级,并结合小众注入方式和冷门API完成隐蔽进程注入。

R5_06320-opq3992571896.jpg

此外,从技术层面来看,大模型本身引入了新的攻击面:提示词攻击可能诱导模型生成错误内容或执行非预期操作;企业业务集成大模型后,原有的封闭流程被打通,可能导致敏感信息泄露或安全管控失效;而RAG、Agent、MCP等新技术与架构的引入,更带来了潜在的系统级漏洞和调用链风险。

面对这种多层次的安全威胁,大模型安全防护需要采取"内外兼修"的策略:

  • 要增强模型自身的安全韧性;
  • 要在外围构建动态防御机制,形成多层次的纵深防线。

为了验证这一防护理念的实战效果,阿里云投入百万奖金举办本次专项攻防赛事。实验数据显示,经过安全加固的基模被攻破概率显著降低,叠加部署安全防护产品后,整体防护能力得到进一步提升。

阿里云安全专家王硕在赛后总结中指出,仅靠系统提示词约束无法完全防住高级攻击。AI时代的安全风险已从系统层延伸至业务层,单点防护难以奏效,真正有效的防护,必须通过基础设施层、模型层与应用层的纵深协同,构建覆盖全链路的动态防御体系。

R5_06087-opq3992365554.jpg

AI赋能蓝军:重构攻防效率

阿里云始终致力于提升AI时代的主动防御能力,高度重视蓝军队伍建设。

在攻防作战能力方面,阿里云提出"用大模型助力安全提效,用AI守护AI"的理念。

阿里云商业化蓝军负责人晁巍在云栖大会演讲中提到,通过自动化工具和大模型技术的结合,助力阿里云蓝军实现攻防流程优化提效:

  • 资产收集Agent能够高效整合网页、图片和链接等非结构化数据,相比传统人工收集方式节省超过80%的时间;

  • 蓝军专属知识库结合RAG与大模型技术,可快速呈现零散的攻防技战法,显著提升安全决策效率。

R5_05961-opq3992227103.jpg

在人才队伍建设方面,阿里云已率先组建了专业的AI安全蓝军队伍。本次赛事不仅为发现和培养AI安全人才提供了重要平台,更通过奖金激励机制推动了大模型安全技术创新,为构建体系化的大模型安全防护能力储备了关键人才力量。

未来,阿里云将继续加大在AI安全技术和AI安全人才上的投入,致力于打造负责任的AI和全栈AI安全防御体系,让安全成为AI被广泛应用的加速器,让AI真正成为推动社会进步的积极力量。

相关文章
|
2月前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
|
2月前
|
机器学习/深度学习 人工智能 Serverless
吉利汽车携手阿里云函数计算,打造新一代 AI 座舱推理引擎
当前吉利汽车研究院人工智能团队承担了吉利汽车座舱 AI 智能化的方案建设,在和阿里云的合作中,基于星睿智算中心 2.0 的 23.5EFLOPS 强大算力,构建 AI 混合云架构,面向百万级用户的实时推理计算引入阿里云函数计算的 Serverless GPU 算力集群,共同为智能座舱的交互和娱乐功能提供大模型推理业务服务,涵盖的场景如针对模糊指令的复杂意图解析、文生图、情感 TTS 等。
|
2月前
|
机器学习/深度学习 人工智能 算法
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
NBA中国与阿里云达成合作,首发360°实时回放技术,融合AI视觉引擎,实现多视角、低延时、沉浸式观赛新体验,重新定义体育赛事观看方式。
324 0
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
|
2月前
|
存储 人工智能 OLAP
AI Agent越用越笨?阿里云AnalyticDB「AI上下文工程」一招破解!
AI上下文工程是优化大模型交互的系统化框架,通过管理指令、记忆、知识库等上下文要素,解决信息缺失、长度溢出与上下文失效等问题。依托AnalyticDB等技术,实现上下文的采集、存储、组装与调度,提升AI Agent的准确性与协同效率,助力企业构建高效、稳定的智能应用。
|
3月前
|
SQL 人工智能 自然语言处理
阿里云 CIO 蒋林泉:AI 大模型时代,我们如何用 RIDE 实现 RaaS 的首次落地?
本文整理自阿里云智能集团 CIO 蒋林泉在 AICon 2025 深圳的演讲,分享了阿里云在大模型应用落地中的实践经验。通过多个数字人项目案例,探讨了企业在 AI 应用中的组织转型、业务识别、产品定义与工程落地等关键环节,并提出了 RIDE 方法论(重组、识别、定义、执行),助力企业实现 AI 有效落地。
|
5月前
|
存储 运维 数据挖掘
革新智能驾驶数据挖掘检索效率!某国内新能源汽车未来出行领导者选择阿里云Milvus构建多模态检索引擎
在智能驾驶技术快速发展中,数据成为驱动算法进步的核心。某新能源汽车领军企业基于阿里云Milvus向量数据库构建智能驾驶数据挖掘平台,利用其高性能、可扩展的相似性检索服务,解决了大规模向量数据检索瓶颈问题,显著降低20%以上成本,缩短模型迭代周期,实现从数据采集到场景挖掘的智能化闭环,加速智能驾驶落地应用。
革新智能驾驶数据挖掘检索效率!某国内新能源汽车未来出行领导者选择阿里云Milvus构建多模态检索引擎
|
7月前
|
程序员 定位技术 开发者
试了试阿里云的通义灵码 2.5 版
通义灵码 2.5 版是个特别实用的工具,无论是个人开发者还是企业团队,都能从中受益。如果你也在找能提升开发效率的工具,通义灵码绝对值得一试!
271 33
试了试阿里云的通义灵码 2.5 版
|
5月前
|
存储 机器学习/深度学习 缓存
阿里云AirCache技术实现多模态大模型高效推理加速,入选国际顶会ICCV2025
阿里云研发的AirCache技术被计算机视觉顶会ICCV2025收录,该技术通过激活跨模态关联、优化KV缓存压缩策略,显著提升视觉语言模型(VLMs)的推理效率与存储性能。实验表明,在保留仅10%视觉缓存的情况下,模型性能下降小于1%,解码延迟最高降低66%,吞吐量提升达192%。AirCache无需修改模型结构,兼容主流VLMs,已在教育、医疗、政务等多个行业落地应用,助力多模态大模型高效赋能产业智能化升级。
414 1
|
6月前
|
存储 人工智能 云计算
挑战杯专属支持资源|阿里云-AI大模型算力及实验资源丨云工开物
阿里云发起的“云工开物”高校支持计划,助力AI时代人才培养与科研创新。为“挑战杯”参赛选手提供专属算力资源、AI模型平台及学习训练资源,包括300元免费算力券、百炼大模型服务、PAI-ArtLab设计平台等,帮助学生快速掌握AI技能并构建优秀作品,推动产学研融合发展。访问链接领取资源:https://university.aliyun.com/action/tiaozhanbei。
|
3月前
|
存储 机器学习/深度学习 人工智能
云栖 2025|阿里云 Qwen3 系列领衔:AI 模型全栈突破与开发者落地指南
阿里云发布Qwen3全栈AI体系,七大模型升级、性能全球领先,开源生态稳居第一。从底层基建到开发工具链全面优化,助力企业高效落地AI应用,共建超级AI云生态。
1370 11

热门文章

最新文章