导读：未来，在 AI 与人类和谐共生的世界里，AI 不仅是强大的工具，更是负责任的伙伴。
当前，全球大模型市场规模预计将达 1280 亿美元，应用渗透至经济社会各个角落，但深度伪造、模型失控等风险也随之蔓延。当全球 118 个国家已启动 AI 战略规划，负责任的 AI 不再是伦理空谈，而是上升到国家战略层面，更是关乎全球可持续发展的核心命题。
在构建负责任的 AI 体系的过程中，推动治理前置而非事后补救，推动技术向善而非能力至上，推动多元共治而非单点突破，这三点转变是核心抓手，真正的先进安全能力，不仅是算法升级与系统加固，更是制度设计的前瞻性、伦理框架的包容性、应急响应的敏捷性，以及全球协作的韧性与互信。
构建负责任的 AI，势在必行
“我们正站在人工智能发展的历史性拐点。”阿里云智能集团首席战略官郑俊芳指出，AI 早已脱离实验室的范畴，深度融入千行百业，不仅重塑全球经济结构、社会运行方式，更在拓展人类的认知边界。“但越是如此，我们越要清醒：技术越强大，责任越重大。”她表示，AI 的发展固然重要，但在发展的同时，AI 的安全和治理绝对不能缺席。
截至 2025 年，已有 118 个国家出台 AI 战略规划，其中 70% 明确将“责任治理”列为核心目标。中国《“人工智能 +”国际合作倡议》提出向全球南方国家提供 AI 基础设施援助；欧盟《人工智能法案》划分“不可接受风险”“高风险”等监管等级；美国则建立跨部门 AI 安全委员会。
构建负责任的 AI，其核心在于确立并坚守一系列普世原则。这些原则是我们在技术狂飙突进时的定海神针。公平性、可靠性与安全性、隐私与安全、包容性、透明度和问责制，是众多机构和企业共同认可的基石。它们确保 AI 系统平等对待所有人，以道德、透明、负责且符合社会价值观的方式运行。
例如，确保 AI 在生物学或化学领域提出科学假说时，其过程和依据是可追溯、可解释的。这不仅是技术问题，更是伦理和价值观的体现。我们必须确保 AI 解决方案尊重人权并支持可持续发展。
负责任的 AI 不是单一领域的突破，而是多方力量的协同进化。技术支撑只是构建它的一环，其最终形态需依托协同并进的过程：技术创新提供新工具和新方法，制度建设划定边界并指明方向，产业实践检验治理有效性，学术研究提供前瞻思考和理论突破。唯有各方力量深度联动，才能真正构建起负责任的 AI。
技术越强大，责任越重大
过去一年，AI Agent 成为 AI 应用的新热点，AI 模型、AI 基础设施也持续火热，在用户与关注度持续上升的背后，安全风险愈发不可忽视。
从宏观上看，AI 安全治理目前仍面临着四大挑战，阿里巴巴集团科技伦理委员会委员薛晖对此进行了深入剖析。
第一是应用增加导致安全边界扩大。AI 安全已经逐渐变成一个复合型的，多种风险相互交织的挑战。以具身智能为例，具身智能应考虑感控系统的脆弱性、对物理世界（环境、人身）的破坏以及威胁、产业链与供应链风险以及责任归属等问题。
第二是应用深入潜藏系统性风险。当 AI 从传统的思考者变成行动者，具有权限可以直接接管数字系统的时候，其在各个环节都会产生各种各样的风险。比如，当 AI 智能体具备行动能力，在它的感知、推理、记忆、工具和渲染输出等各个环节都可能面临新的系统级风险。
第三是当前安全能力落后于模型能力发展。AI 安全目前 尚未发现有效的 Scaling Law，且尚无有力证据表明伴随着模型尺寸增加安全性越强，安全仍需更多创新和技术投入。
第四是 AI 安全治理需同时平衡兼顾安全和发展。现阶段，企业面临着在模型调试的过程中，如何兼顾安全与发展的巨大挑战。AI 要在促进技术创新与防范潜在风险之间取得平衡，是一项复杂而艰巨的任务。尽管安全与发展并重已成为全球共识，但在实践中仍面临诸多难点。
面对诸多安全合规与伦理上的挑战，AI 的安全治理是 AI 应用落地过程中不可逃避的话题，对此，薛晖表示，今天的 AI 安全主要可以拆分三个层面：
首先是传统安全，从攻防视角，需要确保 AI 系统免受外部攻击，确保 AI 的可用性、机密性、完整性不会遭受破坏。据统计，全球已有超过 10 亿美元的算力遭到劫持。与此同时，截至今年 9 月底，DDoS 攻击峰值已达22.2Tbps。面对日益严峻的安全挑战，企业应用 AI 一定要以安全合规为前提。
第二是可靠性。AI 作为一个智能系统，人们希望确保它可靠运行，减少脱离设计目标以及研发者意外的负面效果，这其中包括输出有害内容、幻觉问题，以及更广泛意义上的可靠性和鲁棒失控问题。
第三是可持续性。AI 作为一种变革的力量，对社会发展产生了诸多影响。确保 AI 对就业与经济结构变化、教育体系变革，以及人际和社会关系的影响是正向的。
当前，AI 已经作为社会不可分割的一部分，AI 的发展方向也在悄然地发生着变化——从效率优先转向责任共担，不再追求技术指标的无限突破，而是要让 AI 成为可靠、可信赖的力量，支撑新质生产力可持续发展。
AI 治理：从被动响应到主动预防
AI 治理已经成为当前 AI 发展过程中的重要一环。中国正快速构建 AI 治理体系，从“三驾马车”（《网络安全法》 《数据安全法》《个人信息保护法》）到专项法规如《生 成式人工智能服务管理暂行办法》(2023 年实施)，
再到 2025 年国家标准 GB/T 45654-2025。国家层面对于 AI 治理的重视程度可见一斑。
面对诸多 AI 安全治理挑战，阿里云认为企业需要首先实现态度上的转变——从被动响应，到主动预防，从原则宣言，到落地实践。
原先，企业往往习惯于事后补救，比如模型失控后才进行修补，未来 AI 治理的焦点将转向 AI 潜在风险的预防， 需要建立更前瞻性的风险评估和预警机制。
据薛晖介绍，阿里云构建的面向前沿人工智能的安全技术框架，目标是要辩证解决可审计、可干预、可验证问题。安全评估层面，“守门员”策略主要包括静态基准评测，注重评测的全面性和深入性；“挑战者”策略用红队、蓝军等方式进行高压测试，拓宽边界。混合防御机制中，一方面注重内生安全，让模型能从错误中学习和演化形成有韧性的系统；另一方面仍由人来构建外层护栏，通过采用明确、可解释的、甚至是强硬和冗余的保障来守护底线和边界。在机理研究上，要通过可解释技术，深入理解模型行为，还要高级别安全对齐，教育模型从不作恶到可靠向善。
针对外部攻击和 AI 自身安全可靠性，阿里云建立了完备的多层防御体系，也形成了包括安全对齐、语料清洗、外层护栏、观测技术、评测基准与红队、内容溯源等相关套件。
在上述安全技术框架下，阿里云实现了两项创新：一是率先提出了“共生安全防御”的概念，通过跨层级协作，同时兼顾大模型的表征能力和进化能力，以及采用任务监督学习的针对性能力，实现安全框架的自主进化与灵活响 应；同时，还提出了安全优先的 AGI 研发范式，在 AGI 的架构设计阶段即嵌入安全机制，而非事后打补丁。
具体来说，首先，在预训练阶段以可靠的数据来源应对幻觉与不可信问题，并注入安全领域知识、进行安全预训练，以便在后训练阶段获得更好的防御能力。其次，在后训练阶段通过内省推理强化对抗鲁棒性；通过建设性对齐平衡安全性和帮助性，进行安全、伦理和价值观对齐后，从拒绝回答到负责任回答；进行隐空间分析，还原模型行为路径，打破黑箱。最后，通过静态和动态两种方式进行安全评测。
此外，AI 风险需要从单边监管转变为全球协同的模式，“AI 的风险是无国界的。”正如专家所言，AI 治理须加强全球合作。我们需要超越地缘政治，建立像联合国、经合组织等框架下的多边协作机制，特别是关注全球南方国家的需求，确保治理的包容性和公平性。
阿里巴巴也一直在秉承开源开放的态度与各方协同共治，于 2022 年成立了科技伦理治理委员会，并连续推出 AI 安全报告、践行 AI 安全承诺，和学术机构加强合作，不断进行技术投入，其自身不仅向公众展示治理的透明度，也开放解决方案。
而 AI 安全治理若想真正达到效果，就需要切实的将这些法律法规、伦理规范，以及政策体系落地实践，我们期望看到初步建立的 AI 法律法规、伦理规范和政策体系，并能有效指导实践。这要求治理框架必须是相称性的，能够灵活适应技术的快速迭代，并强调多利益攸关方的协作。
郑俊芳表示，全球 AI 治理绝非束缚创新的枷锁，而是护航行业长远发展的轨道，并呼吁以“战略的远见、务实的行动、开放的心态”凝聚共识，共同绘制“负责任 AI 的全球路线图”，传递出“技术没有国界，责任不分你我”的协同信念。
全方位构建先进安全能力
做好 AI 风险治理，离不开先进安全能力的坚实支撑，确保 AI 及云上安全也是构建负责任 AI 的过程中不可或缺的一部分。从技术角度出发，未来，安全技术将与模型能力同步进化。
面向愈发复杂的 AI 安全挑战，AI Agent 时代下，阿里云提出了双轮驱动的云安全战略，即：一方面，为客户提 供融入 AI Agent 开发全链路的原生安全防护；另一方面，持续用 AI 赋能安全产品智能化升级，打造 Agentic- SOC 安全运营，带给客户更具性价比的安全选择。
目前，阿里云安全已原生融入 Al Agent 开发全链路，构建了一套贯穿模型基础设施、模型和应用的全链路安全防护体系。
在 AI 基础设施层，当前主要面临着算力防护、安全配置、数据泄露、身份越权四重挑战。基于此，阿里云从计算平台、云上资产、数据加密、身份管理等四个大方面布局了 AI 时代的基础设施安全。
以计算平台为例，阿里云实现了从主机安全、容器安全延伸至 Serverless、PAI、灵骏智算等 AI 原生工作负载，支持 one-agent 与 agentless 双模式，实现对 AI 模型训练集群、推理服务及云原生资产的全生命周期防护，提供真正的算力平台统一防护能力。
在 AI 模型安全层面，模型是 AI Agent 的大脑，模型对输入 Prompt 的处理，以及输出内容的编排，直接决定了 AI 应用的服务质量，在阿里云智能集团云安全产品线负责人欧阳欣看来，模型安全是 AI 时代新型安全风险的重灾区，也是构建负责任的 AI 的关键一步。当前，模型安全主要面临着提示词注入、恶意文件、敏感信息泄露、内容违规等安全挑战，“在 AI 教育、AI 办公、AI 客服等逐渐普及的当下，企业需要更全方位的安全防护力。”欧阳欣指出。
基于此，阿里云今年正式对外发布了 AI 安全护栏产品，经过多轮迭代后，已具备覆盖模型交互层、模型输入过程，以及针对 Agent 的新型风险进行检测、覆盖 AI 系统全链路的输入输出内容防护能力。
在 AI 应用层，伴随着 AI 应用的爆发，对 Web 应用也带来了诸多挑战，一方面新型的提示词注入、越狱等新型攻击在冲击着模型安全，另一方面算力正在成为企业的 IT 支持成本大头，阿里云观察到近半年 AI Bot 流量增长比例高达 3 倍。
针对此，阿里云 Web 应用防火墙也在今年全新升级了 WAAP 应用安全防护方案，推出了 LLM-WAF 能力，原生集成了 AI 安全护栏，并发布了 BOT 管理的新版本，能有效降低 21% 的算力攻击。
同时，WAF 的 API 安全能力，可针对 AI 业务敏感数据流转实现全线监控，不仅能秒级发现大模型相关的 API 资产，也能自动化探测隐私数据泄露风险，满足合规要求。
在给 AI Agent 提供全链路安全防护的同时，AI 的快速发展也在反哺安全产品的智能化升级。阿里云安全每天都处理这千亿量级的安全检测，在通义底层模型的加持下，它们成为了珍贵的训练数据。经过精细的数据处理和算法优化，云安全团队构建了数十个安全智能体（AI Agents），通过 Multi-Agent 能力协同，将 AI 融入到安全的每一个阶段，并在威胁检测、安全运营、身份与反欺诈、内容安全、数据安全等领域，有效提升安全产品能力。
除此之外，为了让人类有效监督，AI 的黑箱必须被打开。未来的安全技术将致力于提升模型决策的可解释性，让 AI 不仅能给出答案，更能清晰地阐述“为什么”，这是建立信任的关键。而这个过程中，AI 的可解释性与透明度就成为 AI 安全治理与合规的关键所在。
结语
我们畅想的未来，是一个 AI 与人类和谐共生的世界。在这个世界里，AI 不仅是强大的工具，更是负责任的伙伴。
正如阿里云创始人、之江实验室主任王坚院士所说：“AI 不是替代谁，而是帮助谁。”它能帮助科学家验证假说，赋能各行各业，同时其风险被有效管控，其决策透明可溯，其发展符合全人类的福祉。
正如阿里巴巴集团 CEO 吴泳铭在云栖大会主旨演讲中所指出，“AI 越强大，人类更强大”——当 ASI 的智力杠杆放大人类潜能，当每个个体都能通过自然语言创造 Agent、释放创造力，今天我们凝聚的每一份共识、落地的每一项标准，都将成为未来人机协同的底层协议。
云栖大会上这场关于负责任 AI 的对话落幕了，但它所开启的，是人类与超级智能共赴文明新高度的漫长征途——未来，以治理为帆，以技术为桨，以责任为舵，我们终将驶向那个“AI 解放人类潜能、共创无限可能” 的未来。
