信条:阿里云AI攻防安全启示录

本文涉及的产品
Web应用防火墙 3.0,每月20元额度 3个月
云安全中心 免费版,不限时长
云安全中心漏洞修复资源包免费试用,100次1年
简介: 解读AI时代下的安全攻防新态势

1.png
“有人在未来制作逆时间子弹,逆转时间传递给我们。”

4月9日AI势能大会上,阿里云百炼推出业内首个全生命周期MCP服务。MCP如同“超级插座”,使端侧应用能像智能设备接入电网般,无缝融入AI应用架构。

当这把通往未来AI世界的"万能钥匙"问世之际,技术突破的"速度与激情"遭遇安全防线的"生死时速",这场没有硝烟的战争正催生出怎样的攻守格局?

本期《安全记》特邀阿里云蓝军负责人石肖雄、业内知名白帽专家张卫作为嘉宾,通过蓝军视角,围绕“AI安全攻防新态势”主题展开,并结合阿里云在安全攻防的实践经验和成果,探讨大模型MCP协议等AI交互新模式对蓝军攻防技术带来的变化。

本文基于访谈嘉宾观点进行提炼,完整版内容请点击下方视频。

点击查看视频详情

AI安全攻防:攻什么?守什么?

AI安全攻防主要涉及在人工智能领域展开的安全攻击与防御活动。其核心在于保护AI系统免受恶意攻击的影响,同时通过研究特定技术对AI系统实施攻击,以此来评估和提升系统的安全性。

AI安全与传统安全在攻防侧两大核心差异性:

  • 攻击目标不同:传统网络安全攻防主要集中在网络基础设施,如服务器等;而AI安全攻防则更关注于机器学习模型本身及其生成的数据,包括模型参数等。
  • 攻击方式多样:除了传统的软件漏洞利用外,AI安全还面临特定于AI的技术挑战,比如对抗样本攻击等。

AI安全攻防技术手段主要涵盖两方面:AI技术赋能网络攻防和AI大模型原生安全问题。AI技术能助力安全人员提质增效,而攻击者同样可以利用AI能力精准化、复杂化攻击场景。此外,AI系统存在数据隐私泄露、模型中毒等风险,因此确保AI自身的安全性也至关重要。

AI大模型攻防:守护“AI车”安全运行

大模型安全攻防需聚焦三个阶段:数据收集、模型训练与模型使用。

  • 数据收集阶段:常见的攻击手法有操控输入数据实施闪避攻击,致使模型应用时判断失误。
  • 模型训练阶段:诱饵攻击会使训练数据中毒,后门攻击能令模型在特定条件下触发后门效果。
  • 模型使用阶段:攻击者会分析系统输入输出等外部信息,推测模型参数及训练数据。
    针对这些潜在攻击威胁,保障大模型安全需采取多类主动防御措施。

若把大模型安全比作汽车安全,目标就是确保 “AI车” 行驶时全方位安全,涵盖外部攻防、内部模型及应用架构安全。

  • 外部攻防安全如同给 “AI车” 安检和保养,出发前检查输入数据,行程结束后检测输出结果。

  • 内部模型安全则是保障 “AI车” 稳定运行,依靠对抗检测技术,确保其在各场景下的安全性。

  • AI应用架构安全犹如为 “AI车” 安装防盗系统和安全气囊,建立严格访问控制、数据加密和安全审计流程,防止数据泄露和滥用,保障 “乘客” 即用户的安全。

AI出鞘,可让安全攻防火力全开

把AI的能力植入到安全攻防中,可以极大释放白盒、灰盒和黑盒测试工具的潜能,进而提升安全测试效率与准确性。

  • 传统白盒测试:靠人工代码审查和静态分析,效率低且易出错,AI的介入让自动化源代码分析得以实现,提高了漏洞检测准确性。
  • 传统黑盒测试:依赖手动生成测试用例,存在重复工作多、覆盖面有限的问题,AI则可快速模拟用户行为,实现重复流程自动化处理。
  • 传统灰盒测试:传统方式依赖人工经验和多源数据整理分析,AI能够弥补不足,识别出安全人员难以察觉的潜在风险。
    在实战攻防场景,借助AI优势可有效解决传统方法应用过程中的诸多问题。比如:

  • 利用AI的自动化事件响应能力,可赋能渗透测试平台自动化分析代码和测试结果,自动化处理重复流程。

  • 利用AI的持续学习能力,可赋能网络威胁检测平台自动化构建检测模型和规则。
  • 利用AI的海量数据快速分析能力,可赋能威胁情报监测平台快速分析安全事件并进行预测性分析。

人机协同的AI模式可助力安全团队更高效地开展工作等。

AI与安全攻防结合,可通过AI智能体、RAG知识库、MCP协议、A2A协议等多种AI技术实现。

  • 首先,AI Agent能够将安全专家的经验和决策过程以工作流的形式进行复制,助力团队成员快速学习和掌握不熟悉的安全技术,从而提高工作效率。
  • 其次,利用RAG知识库可助力大模型整合特定垂直领域的安全知识,增强大模型的知识图谱,从而提升决策的有效性。
  • 最后,通过MCP 、A2A等协议,可增强大模型在多任务、多场景下的适应能力,使安全团队能够灵活选择和组合最佳的安全解决方案。

阿里云AI安全攻防实践:蓝军实战利刃

安全攻防领域,实战演练至关重要。

AI对网络攻击的赋能主要体现在两大方向,一是生产力赋能,二是攻防场景赋能。关于实战攻防演练中AI技术的应用,阿里云蓝军实战探索已久。

  • 攻防RAG知识图谱:将多年积累的攻防场景下的攻击姿势和知识库沉淀到大知识平台,助力新入职人员学习;
  • 能力工具化:发布资产测绘、外部扫描等,聚焦解决以往难题,如爬虫问题,利用AI对代码的强大识别作用解决攻防审计问题,以及通过简单提示词检测漏洞;
  • 社会工程领域:利用AI构建互动场景,并在攻防项目中结合AI进行攻防演练,提升相关人员安全意识,共同维护新技术背景下的安全环境。

攻&防协同进化:迈向AI安全新纪元

MCP和A2A技术广泛应用,可预见未来面向端上的安全风险会持续攀升,在传统安全基础上加大向AI安全转型的投入。

石肖雄认为,大模型厂商需保障原生安全可靠稳定,例如提供MCP和A2A服务的企业,应作为第一层安全防护主体,从协议层、应用层等实现安全左移。“左移” 包含两重意思,即大模型服务提供方自身的安全左移以及接入服务的对端安全左移。

同时,随着大模型的发展,AI大模型逐渐成为关键基础设施,对网络安全行业带来了一定冲击。如何有效防范风险,推动行业健康有序发展成为众人关注焦点。

张卫提出两点建议:

  • 其一,AI技术提供厂商必须肩负起AI安全责任,在原生安全上做到可靠稳定;

  • 其二,除了应对大模型原生安全问题,还需借助技术手段反制AI技术滥用行为。

未来也许还有安全风险尚未浮出水面,但阿里云作为云计算和大模型领域的领军者,会始终致力于保障云与大模型原生安全的稳定可靠。同时,阿里云将于今年牵头举办AI攻防挑战赛,期望借助类似AI攻防赛的交流平台,激发AI安全攻防领域的创新活力,汇聚更多新生力量投身安全建设。

相关文章
|
14天前
|
云安全 人工智能 安全
大模型+安全,阿里云发布AI云盾系列产品!
阿里云正式发布AI云盾(Cloud Shield for AI)系列安全产品,包括AI安全护栏、升级云安全中心、WAAP和云防火墙。该系列提供模型输入输出安全、AI-BOM、AI-SPM等能力,构建三层模型安全防御体系,涵盖AI基础设施、大模型及应用安全。其中,AI安全护栏保障生成式AI合规性,实时检测威胁并维护模型健康,支持多模态内容交叉检测的All In One API调用模式。此外,AI-BOM与AI-SPM助力客户持续监控AI资产及安全状态。
119 3
大模型+安全,阿里云发布AI云盾系列产品!
|
17天前
|
人工智能 云计算
阿里云与华五教学协同中心、超星集团联合发布高校AI实践通识课丨云工开物
5月24日,华五教学协同中心、阿里云与超星集团联合发布《高校AI实践通识课》。该课程融合理论与实践,由复旦大学等高校名师打造理论部分,阿里云提供AI实训平台支持实践环节,助力学生提升AI应用能力。课程预计秋季学期免费开放,推动AI时代人才培养。阿里云副总裁刘湘雯表示,这是AI与教育深度融合的创新实践;超星集团总裁史超强调,合作模式助力人才适应未来社会发展。此外,阿里云“云工开物”计划持续为高校提供技术支持与免费算力,助力AI教育发展。
|
16天前
|
人工智能 开发框架 自然语言处理
企业级AI搜索解决方案:阿里云AI搜索开放平台
本文介绍了 阿里云 AI 搜索开放平台作提供丰富的 AI 搜索组件化服务,兼容主流开发框架 LangChain和 LlamaIndex,支持搜索专属大模型、百炼等大模型服务,以及 Elasticsearch、Havenask 等开源引擎。用户可灵活调用多模态数据解析、大语言模型、效果测评等数十个服务,实现智能搜索、检索增强生成(RAG)、多模态搜索等场景的搭建。
|
9天前
|
人工智能 监控 数据挖掘
6/14 上海,Apache Doris x 阿里云 SelectDB AI 主题线下 Meetup 正式开启报名!
6 月 14 日,由 Apache Doris 社区、飞轮科技、阿里云联合发起的湖仓数智融合、AI 洞见未来:Apache Doris x 阿里云 SelectDB 联合 Meetup 将在上海·汇付天下总部大楼正式开启,邀您一同探索 AI 与数据分析的融合实践!
196 76
|
9天前
|
人工智能 Cloud Native 数据管理
邀您参加 KubeCon China 2025 分论坛 | 阿里云 AI 基础设施技术沙龙
KubeCon + CloudNativeCon China 2025 将于6月10-11日在香港合和酒店举办,由CNCF与Linux基金会联合主办。阿里云开发者将在大会上分享多个技术议题,涵盖AI模型分发、Argo工作流、Fluid数据管理等领域。大会前还有阿里云AI基础设施技术沙龙,聚焦AI基础设施及云原生技术实战经验。欢迎扫码报名参与!
223 64
|
21天前
|
云安全 人工智能 安全
AI 云盾(Cloud Shield for AI)重磅发布,打造安全新范式
提供大模型应用端到端的安全解决方案
1373 48
|
9天前
|
人工智能 安全 Nacos
MSE 铂金版:全面拥抱 AI,SLA 99.99%,零信任安全
微服务引擎注册配置中心铂金版正式发布,支持Nacos 3.0 MCP服务动态注册与调优,提供比专业版更高的稳定性与安全能力,SLA达99.99%,服务推送性能提升300%。针对关键业务,铂金版通过独享核心资源实现更高规格配额,满足大规模需求。此外,新增MCP动态注册、HTTP服务转换、实时更新调优等功能,并强化数据源管理与安全能力,助力企业应对复杂业务挑战。
|
1月前
|
开发框架 人工智能 Java
破茧成蝶:阿里云应用服务器让传统 J2EE 应用无缝升级 AI 原生时代
本文详细介绍了阿里云应用服务器如何助力传统J2EE应用实现智能化升级。文章分为三部分:第一部分阐述了传统J2EE应用在智能化转型中的痛点,如协议鸿沟、资源冲突和观测失明;第二部分展示了阿里云应用服务器的解决方案,包括兼容传统EJB容器与微服务架构、支持大模型即插即用及全景可观测性;第三部分则通过具体步骤说明如何基于EDAS开启J2EE应用的智能化进程,确保十年代码无需重写,轻松实现智能化跃迁。
243 39
|
15天前
|
人工智能 数据挖掘
🔔阿里云百炼智能体和工作流可以发布为组件了,AI应用变成“搭积木”
本文介绍了如何通过智能体组件化设计快速生成PPT。首先,创建一个“PPT大纲生成”智能体并发布为组件,该组件可根据用户输入生成结构清晰的大纲。接着,在新的智能体应用中调用此组件与MCP服务(如ChatPPT),实现从大纲到完整PPT的自动化生成。整个流程模块化、复用性强,显著降低AI开发门槛,提升效率。非技术人员也可轻松上手,满足多样化场景需求。
🔔阿里云百炼智能体和工作流可以发布为组件了,AI应用变成“搭积木”
|
1月前
|
人工智能 数据挖掘 大数据
“龟速”到“光速”?算力如何加速 AI 应用进入“快车道”
阿里云将联合英特尔、蚂蚁数字科技专家,带来“云端进化论”特别直播。
75 11

热门文章

最新文章