当下的大模型如同十年前的云计算，正在快速向各行各业渗透，并正在以前所未有的速度重塑各行各业。企业在应用大模型技术的同时，也面临着新一轮 AI 技术带来的全新的安全挑战。另一方面，当数据已经成为企业重要资产，数据安全不仅成为企业安全，更已成为国家安全的重要保障。
在数据安全与大模型深入应用的双重背景下，如何在安全的前提下，更好地将大模型技术与业务融合，已经成为当下所有企业面临着的共同挑战。
面对挑战，阿里云认为大模型的伦理与安全需要“协同共治”原则指导之下的合作机制，没有任何一家公司或者组织可以独自应对所有的安全挑战。
阿里云联合中国信通院安全所发布了《大模型安全研究 报告（2024 年）》，撰写者包括 30 余家大模型厂商、研究机构，凝聚了业界专家共识，对大模型安全进行全面阐述，并从大模型自身安全和大模型赋能安全两个维度深度解析。
大模型时代，安全面临更多挑战
随着生成式 AI 技术的发展，大模型在内容创作、设计、开发、辅助办公等多个领域都掀起了新一轮的技术革命，生成式 AI 在解放生产力，提高工作效率的同时，也引发了公众对安全隐患的担忧，包括内容偏见、数据泄露和 AI 应用漏洞等。
随着各类大模型应用的加速落地，其技术局限和潜在恶意使用不仅威胁大模型系统自身的安全稳定运行，也可能为使用大模型的各行各业带来非预期安全影响。 Gartner 预测，到 2025 年，生成式 AI 的采用将导致企业机构所需的网络安全资源激增，使应用和数据安全支出增加 15% 以上。
阿里云联合中国信通院安全所发布的《大模型安全研究报告（2024 年）》认为，基础大模型系统在训练数据、算法模型、系统平台和业务应用四个方面都有不同程度的安全挑战。总体来说，大模型在人工智能的发展中产生了模型“幻觉”、提示注入攻击、大模型插件缺陷等新风险，并加剧了数据泄露、模型偏见、系统缺陷等传统人工智能技术已有风险。
因此，企业急需建立全面的大模型安全措施，聚焦降低大模型可能面临的基础共性安全风险。
协同治理，共筑安全共同体
与此前技术时代不同的是，人工智能技术时代企业面对的风险类型多种多样，影响范围也是跨行业、跨地域的，大模型的安全与伦理需要在“协同共治”原则指导之下的合作机制，没有任何一家公司或者组织可以独自应对所有的安全挑战。
协同共治包括多个方面，比如多方共同制定行业标准、分享最佳实践、开展联合研究项目等。协同共治不仅有助于凝聚共识，还有助于产生创新性治理方案，形成具有广泛共识的治理框架和标准规范，确保人工智能发展符合人类的根本利益和价值标准。
在提供人工智能相关产品服务时，企业需要将社会责任放在首位，确保产品服务的安全性。与此同时，企业也可以协同政府主管部门开展人工智能安全治理的相关工作。同时需要产业上下游实现“价值对齐”，共同推进治理体系的建设。
例如，在 2024 年的云栖大会“AI 治理与安全论坛” 上，阿里云宣布通过人工智能技术的全生命周期管理 ISO42001 体系认证。该项认证由国际标准化组织 (ISO)和国际电工委员会(IEC)制定，是第一部可认证的人工智能国际管理体系标准。
ISO42001 人工智能管理体系认证包含开展人工智能类云产品（含模型平台与服务）的研发、测试、运维及服务支持领域，阿里云是全球首家通过此项认证的云服务商，也是全球范围内首家通过国际认证联盟(IONet) 领域认证的企业，这是阿里云在人工智能领域的管理水平和技术应用，按照国际标准，向着体系化、标准化、合规化发展，对云上客户提供高质量大模型服务承诺的重要体现。
目前世界各国对于人工智能安全标准的建立都非常重视，相继出台了相关的法律法规，给人工智能安全划定了“红线”，以约束企业有序发展。
中国于 2023 年 7 月发布了《生成式人工智能服务管理暂行办法》，明确对生成式人工智能服务实行包容审慎和分类分级监管；美国于 2023 年 10 月发布的《安全可靠、可信地开发和使用人工智能的行政令》中指出具有重大安全风险的强大通用人工智能模型（所用算力规模达 10 的 26 次方 flops 的大模型）须遵循“红队”测试指南，并与政府分享测试结果，并鼓励利用人工智能提升美国防御能力；欧盟则是在 2024 年 5 月通过了《人工智能法案》，明确“具有系统性风险的通用人工智能模型须承担‘模型评估、评估和减轻系统风险，进行对抗性测试’等义务”......
在协同治理的理念之下，大模型实践各方将进一步从大模型自身安全出发，化解安全风险挑战。
大模型自身安全
构建大模型自身安全的整体解决方案，首先要建立涵盖安全目标、安全属性、保护对象、安全措施四个层面的安全框架，以自顶向下、层层递进的方式提出：在明确的安全目标下，确保模型的安全、可靠、可控，并保障其伦理性、合规性、可靠性、可控性、鲁棒性等安全属性，对大模型系统、数据、用户、行为四个对象进行严格保护，在训练数据、算法模型、系统平台、业务应用四个重要层面执行安全措施，以确保大模型系统提供服务时的安全性。
“云计算是大模型技术进步与应用落地的最优解决方案。云原生的安全能力为大模型技术进步与应用落地提供全面安全保障。”阿里云智能集团首席财务官郑俊芳表示，公有云凭借其先进的技术和丰富的实践经验，通过提供标准化与自动化的基础设施级防护、动态化实时防护，以及数据安全、内容安全、算法安全等多个领域的安全保障，显著增强了大模型全生命周期的安全性，助力企业应对复杂的安全挑战，确保大模型服务的稳定和可靠。
首先，企业需要明确安全目标。企业需要设立的目标主要涵盖：训练数据安全可信、算法模型安全可靠、系统平台安全稳定，以及业务应用安全可控四个方面。
在训练数据安全可信方面，训练数据是大模型的基石，大模型从数据中获取知识的同时，也面临着数据泄露、数据偏见、数据投毒等诸多安全挑战。因而，企业在训练大模型的过程中，应确保大模型的训练数据不被窃取，确保用户隐私的安全，且训练数据未被篡改，能够真实反映物理世界和人类社会情况。
为了使通用模型在特定领域实现更好的智能，企业需要对其自身业务数据进行提炼，并通过微调等技术将这些知识融入到模型中。值得注意的是，用于训练模型的数据大多对企业至关重要，在数据的收集、清洗、分析及存储过程中，都需要有完善的安全机制进行保障。
具体的训练数据安全措施主要包括：数据合规获取、数据标注安全、数据集安全检测、数据增广与数据合成、安全对齐数据集构建。
在算法模型安全可靠方面，随着大模型在越来越多行业侧的应用不断落地，其算法的鲁棒性、可靠性也愈发重要。然而，从当下发展来看，大模型仍存在鲁棒性不足、模型“幻觉”、可解释性差等自身技术局限，以及指令注入、对抗样本、算法后门等诸多安全攻击方式，这些问题都能使大模型应用产生非预期性的错误输出。而对于企业而言，应当确保大模型的算法模型在规定的运行条件和实践周期内，始终产生预期的行为和结果，并一直处于可控的状态下。
对应的，算法模型安全措施主要包括模型内生安全评测、模型鲁棒性增强、模型“幻觉”缓解、模型偏见缓解、模型可解释性提升等五个方面。
在系统平台安全稳定方面，大模型开发平台的安全对于企业应用大模型来说也是至关重要的。然而大模型系统和研发平台自身安全漏洞被攻击者利用，将会让应用系统陷 入攻击者的控制中，企业敏感数据在存在泄露风险的同时，相应的应用与服务也面临中断的危险。所以，企业应及时检测发现，并修复大模型系统和研发平台的安全漏洞，并做好大模型与插件间交互的安全监测和认证。
系统平台安全措施主要包括系统安全加固保护、大模型插件安全保护两个方面。
在业务应用安全可控方面，大模型已经在多个行业侧展现出惊人的能力，且在多个行业内已经有不少应用落地。企业在应用大模型的过程中，如果模型遭到了滥用或恶意使用，将对行业，乃至社会安全稳定带来威胁。因此，企业需要在法律法规和社会伦理允许的范围内使用大模型，杜绝大模型滥用行为的出现。
业务应用安全措施主要包括输入输出安全保护、生成信息标识、账号恶意行为风控、用户协议和隐私政策四个方面。
为更好的捍卫人工智能的安全，阿里云升级了全新的大模型全生命周期的安全防护体系。在数据的采集、模型 设计、训练、评测、部署和使用阶段都提供了丰富的安全产品，既包括在模型生成阶段的内容安全产品，以及云安全中心、WAAP 产品、云防火墙、DDoS 防护等保护 AI 基础设施的产品，也有数据安全中心、数字水印等数据安全产品。这些产品和技术能力不仅落实到阿里云自身的百炼平台和通义系列产品，也让客户同样可以便捷调用以保护自己的大模型全生命周期的安全。
为了实现对数据安全的保护，阿里云基于百炼平台，设计实施了一系列数据安全防护方案，包括专有网络访问通道、Prompt 加密、数据存储、应用层传输加密，以及存储加密等方式方法，确保企业数据安全。
阿里云 PAI 平台上也有多重举措，保障模型和数据资产的安全，满足安全合规要求，共建安全可信的 AI。比如，对有毒性的训练数据造成 AI 模型的内容安全问题，PAI 平台会对数据进行毒性清洗，通过清洗训练和微调数据，保障安全合规。具体来说，根据不同的在数据准备阶段，识别和清洗 20 多类的毒性数据，过滤数据异常特征，隐私数据脱敏，基于安全合规的数据集进行 AI 训练。业务负载和资源类型来灵活调度。
对 AI 模型缺少全链路防护，可能损害企业合法权益的问题，PAI 平台的机密计算容器将发挥作用，在机密计算环境中开发、训练和部署。云端使用机密计算容器保障模型和数据在运行态的安全性；终端使用模型加密，防止模型和数据被恶意窃取。对恶意 Prompt 导致推理结果不合规、隐私泄露的问题，PAI 可以识别用户输入 Prompt 和推理结果中的不合规信息并实现过滤，进一步保障模型推理结果满足安全合规要求。
大模型赋能安全
AI 技术不仅带来了挑战，也带来新的机遇。大模型的信息处理、知识抽取、意图识别等能力，恰恰可以在网络安全、内容安全、数据安全等领域，增强网络安全防御能力、数据安全保护能力、内容安全检测过滤能力，提高安全事件处理的效率和准确性，提升安全技术的智能化水平，促使安全防护更加主动、智能和高效。
在网络安全方面，作为目前安全行业应用大模型技术最广的一个领域，通过大模型技术，可以帮助企业显著提升网络安全整体防护水平和安全事件处置效率。而从安全能力框架 IPDRR 上看，大模型在各个环节均已开展试点商业化应用。以风险识别为例，风险识别是目前大模型技术应用深度最深、效果最好的一个应用。通过大模型技术的加持，企业可以实现自动化的漏洞挖掘、自动化代码审计、智能威胁情报生成和整合，以及智能化的网络攻击溯源等应用。除此之外，大模型还在安全防御、安全检测、安全响应、安全恢复，以及智能安全问答等网络安全防御环节提供 AI 赋能。
在数据安全方面，大模型也有不少发挥的余地。
首先，通过大模型技术的加持之后，企业能够从海量非结构化数据中准确识别并提取关键特征，实现数据的自动化分类分级。众所周知，数据分类分级是企业数据治理过程中必需的环节，经过过年的技术发展，目前该技术还面临着难以准确识别非结构化数据，以及难以自学习分类分级规则等痛点。以医疗数据为例，通过学习医疗数据以后，大模型可以自动化学习到应将患者病历归类为“健康信息 - 极高敏感”，将处方归类为“医疗处方 - 高敏感”，患者满意度调查归类为“非诊断数据 - 低敏感”。同时，对于结构化数据，大模型通过学习行业规范、标准及人工标注数据，能够实现对数据库表名、字段名、注释等信息的精确解读，从而大幅提高数据分类分级的准确度。
此外，大模型技术在自动化 APP(SDK)违规处理个人信息检测中也正在发挥着作用。通过大模型技术，在智能问答、个人信息识别、隐私政策分析、潜在问题发现及检测报告生成等方面，为 APP(SDK)违规处理个人信息检测方面进行 AI 赋能，从而帮助开发者更好地遵循个人信息保护原则。
在内容安全方面，依靠多模态大模型技术，可以在文本内容检测、图像检测，以及音视频检测等方面，对内容是否存在违法违规等行为进行智能、快速地检测，及时进行处理。阿里云凭借自身的人工智能技术，对现有安全产品进行了全面的升级与优化，不仅极大地增强了安全保障能力，还显著提升了运营效率。
内容安全无疑是 AI 时代的重点安全担忧之一，阿里云内容安全产品进行了重大升级，业内有一句话是用魔法打败魔法，阿里云用大模型的能力去检测大模型带来的风险。此次升级通过 Prompt 工程将大模型快速应用于新的内容场景，目前已覆盖 10 个新场景，相比以往依赖人工标注数据的方式，效率提升了 100%，这意味着阿里云能够更快速地响应客户的内容风控需求。同时，通过大模型监督微调，显著提升了场景匹配能力，其中暗喻场景识别效果提升了 80%，视觉场景识别效果提升了 70%。
受益于 AI，阿里云安全大模型能够显著提升安全运营效率。阿里云对云安全中心 AI 助手进行了能力升级，在安全事件风险调查与响应、产品咨询以及智能报告三大场景，显著提升了安全事件运营的人效。云安全中心 AI 助手可以 为客户提供清晰的风险解释，并指导他们进行正确的风险处置。目前，AI 助手支持的告警事件类型覆盖率从之前的 85% 提升至 99%，安全服务自动处置率达到了 73%，大模型用户覆盖率已经达到了 88%。
AI 在办公安全数据分类分级场景中也发挥了重要作用。阿里云的能力源自阿里巴巴集团内部在办公安全方面的丰富实践。基于这一技术沉淀，阿里云推出的办公数据安全解决方案，能够大幅提升企业敏感资产治理的效率。目前，该方案支持超过 300 种文档类型，识别准确率高达 99%，涵盖超过 10 种资产治理场景，资产治理效率提升了 5 倍。
随着人工智能技术的迅猛发展，其带来的风险亦逐渐显现，其中尤以 Deepfake（深度伪造）问题最为引人关注。阿里云发布的实人认证产品，能够有效对抗 Deepfake 攻击，目前日均拦截攻击量达 25 万次，攻击拦截率高达 99%。该模型同时具备分钟级自我更新能力，应对不断迭代的攻防技术。
在应对人工智能合规性的挑战时，针对生成式人工智能技术发展带来的版权归属、信息追踪、合规标识等诉求，阿里云提供支持图片、文档、音频、视频和 APP 等多种格式的数字水印解决方案。该方案在国内外拥有超过 70 项专利，符合国家相关法规中关于显式标识和隐式标识能力的标准，并已通过了国内权威的 ChinaDRM 认证和国际权威的 Cartesian 认证。目前，它能够识别超过 80 种攻击手法，提取成功率超过 90%。
未来，大模型能力也将在安全领域进一步发挥。短期来看，大模型将显著提升现有安全技术的性能和智能化水平。长期来看，大模型有潜力成为安全防护的核心从而改变安全工作模式，从依赖安全人员调度和使用安全工具，转变为以大模型为核心调度并智能化使用安全工具。这仅仅是开始，对人工智能行业的安全发展而言，整个行业“产学研用” 等多方协同共治方能实现人工智能的高质量发展目标。
欲了解更多详情，敬请扫码下载查阅完整版阿里云联合中国信通院安全所发布的《大模型安全研究报告（2024 年）》
