阿里云 2025首届「AI安全」全球挑战赛完美收官,展现大模型安全攻防新高度

本文涉及的产品
AI安全态势管理免费试用,1000次,有效期3个月
简介: 赛事落幕!

2025年9月26日,在云栖大会“AI安全前沿攻防技术论坛”上,全球首个面向通用大模型的AI安全攻防赛事——2025「AI安全」全球挑战赛举行了颁奖典礼。优胜选手现场领取奖杯与证书,并分享参赛经验与实战心得,展现了AI安全攻防领域的前沿探索与创新思维。1.jpg
2.jpg
3.jpg

据了解,本次大赛设有「大模型安全攻防双向对抗赛」、「模型应用线上环境漏洞赏金赛」、「AI安全产品挑战赛」三大赛道,吸引了自全球3000余名顶尖选手报名参赛,在为期3个月的赛程里累计收到有效报告超万份,为构建系统化的AI安全技术体系提供了丰富的实践参考。

赛事技术总指导、阿里云资深安全专家石肖雄表示,本次大赛兼具研究与应用价值,为提升基础大模型的内生安全、验证阿里系集成大模型业务的安全水位提供了实战参考。相关攻防样本也将沉淀至阿里云AI安全产品,持续反哺防护能力的实战建设。

大模型安全需“内外兼修”

随着大模型的广泛应用,其安全问题也需要被广泛关注。

实践表明,面对高度自动化的高级攻击,单一防护机制存在局限,亟需构建多层次协同防御。赛道三获奖选手苏永成在现场分享了三种极具代表性的非常规攻击方式:

  • 通过越狱大模型自动生成数千条创意提示词,实现规模化绕过内容过滤;
  • 通过系统侧信道的微小“活动熵”差异高效判别当前环境是否沙箱,规避沙箱检测;
  • 修改父进程为高可信进程提升安全评级,并结合小众注入方式和冷门API完成隐蔽进程注入。

R5_06320-opq3992571896.jpg

此外,从技术层面来看,大模型本身引入了新的攻击面:提示词攻击可能诱导模型生成错误内容或执行非预期操作;企业业务集成大模型后,原有的封闭流程被打通,可能导致敏感信息泄露或安全管控失效;而RAG、Agent、MCP等新技术与架构的引入,更带来了潜在的系统级漏洞和调用链风险。

面对这种多层次的安全威胁,大模型安全防护需要采取"内外兼修"的策略:

  • 要增强模型自身的安全韧性;
  • 要在外围构建动态防御机制,形成多层次的纵深防线。

为了验证这一防护理念的实战效果,阿里云投入百万奖金举办本次专项攻防赛事。实验数据显示,经过安全加固的基模被攻破概率显著降低,叠加部署安全防护产品后,整体防护能力得到进一步提升。

阿里云安全专家王硕在赛后总结中指出,仅靠系统提示词约束无法完全防住高级攻击。AI时代的安全风险已从系统层延伸至业务层,单点防护难以奏效,真正有效的防护,必须通过基础设施层、模型层与应用层的纵深协同,构建覆盖全链路的动态防御体系。

R5_06087-opq3992365554.jpg

AI赋能蓝军:重构攻防效率

阿里云始终致力于提升AI时代的主动防御能力,高度重视蓝军队伍建设。

在攻防作战能力方面,阿里云提出"用大模型助力安全提效,用AI守护AI"的理念。

阿里云商业化蓝军负责人晁巍在云栖大会演讲中提到,通过自动化工具和大模型技术的结合,助力阿里云蓝军实现攻防流程优化提效:

  • 资产收集Agent能够高效整合网页、图片和链接等非结构化数据,相比传统人工收集方式节省超过80%的时间;

  • 蓝军专属知识库结合RAG与大模型技术,可快速呈现零散的攻防技战法,显著提升安全决策效率。

R5_05961-opq3992227103.jpg

在人才队伍建设方面,阿里云已率先组建了专业的AI安全蓝军队伍。本次赛事不仅为发现和培养AI安全人才提供了重要平台,更通过奖金激励机制推动了大模型安全技术创新,为构建体系化的大模型安全防护能力储备了关键人才力量。

未来,阿里云将继续加大在AI安全技术和AI安全人才上的投入,致力于打造负责任的AI和全栈AI安全防御体系,让安全成为AI被广泛应用的加速器,让AI真正成为推动社会进步的积极力量。

相关文章
|
6月前
|
机器学习/深度学习 人工智能 人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
553 121
|
6月前
|
人工智能 人机交互 知识图谱
当AI学会“融会贯通”:多模态大模型如何重塑未来
当AI学会“融会贯通”:多模态大模型如何重塑未来
419 114
|
6月前
|
人工智能 搜索推荐 程序员
当AI学会“跨界思考”:多模态模型如何重塑人工智能
当AI学会“跨界思考”:多模态模型如何重塑人工智能
848 120
|
6月前
|
人工智能 安全 搜索推荐
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
606 117
|
6月前
|
人工智能 机器人 人机交互
当AI学会“看、听、懂”:多模态技术的现在与未来
当AI学会“看、听、懂”:多模态技术的现在与未来
437 117
|
6月前
|
人工智能 API 开发工具
构建AI智能体:一、初识AI大模型与API调用
本文介绍大模型基础知识及API调用方法,涵盖阿里云百炼平台密钥申请、DashScope SDK使用、Python调用示例(如文本情感分析、图像文字识别),助力开发者快速上手大模型应用开发。
2512 18
构建AI智能体:一、初识AI大模型与API调用
|
6月前
|
人工智能 算法 数据安全/隐私保护
拔俗AI多模态心理风险预警系统:用科技守护心理健康的第一道防线
AI多模态心理风险预警系统通过语音、文本、表情与行为数据,智能识别抑郁、焦虑等心理风险,实现早期干预。融合多源信息,提升准确率,广泛应用于校园、企业,助力心理健康服务从“被动响应”转向“主动预防”,为心灵筑起智能防线。(238字)
785 0
|
6月前
|
存储 人工智能 搜索推荐
拔俗AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教融合大语言模型、教育知识图谱、多模态感知与智能体技术,重构“教、学、评、辅”全链路。通过微调LLM、精准诊断错因、多模态交互与自主任务规划,实现个性化教学。轻量化部署与隐私保护设计保障落地安全,未来将向情感感知与教育深度协同演进。(238字)
786 0
|
6月前
|
机器学习/深度学习 人工智能 搜索推荐
拔俗AI学伴智能体系统:基于大模型与智能体架构的下一代个性化学习引擎
AI学伴智能体系统融合大模型、多模态理解与自主决策,打造具备思考能力的个性化学习伙伴。通过动态推理、长期记忆、任务规划与教学逻辑优化,实现千人千面的自适应教育,助力因材施教落地,推动教育公平与效率双提升。(238字)
837 0