大数据时代，如何基于机密虚拟化技术构建数据安全的“基石”-阿里云开发者社区

2023年10月31日-11月2日，2023云栖大会在中国杭州·云栖小镇举行，阿里云弹性计算产品专家唐湘华、阿里云高级安全专家刘煜堃、蚂蚁集团高级技术专家肖俊贤三位嘉宾在【云服务器 & 计算服务】专场中共同带来题为《大数据时代，如何基于机密虚拟化技术构建数据安全的“基石”》的主题演讲，从ECS产品安全体系及机密计算介绍、基于机密虚拟机的数据保护解决方案、蚂蚁机密PaaS最佳实践三大角度为大家做了全面的分享。

以下内容根据三位讲师的演讲内容整理而成，供阅览：

唐湘华阿里云弹性计算产品专家

一、ECS产品安全体系及机密计算介绍

关于“谁动了我的数据”？

1、数据的价值

用户上云最大的顾虑之一在于数据安全问题，一方面，担心云上的技术链路不够完善，会导致数据泄漏；另一方面，担心恶意攻击者偷取数据；甚至有些用户会担心云服务商监守自盗，偷窥数据。

阿里云在云上构建了数字世界的“保险柜”，专用于保护用户的关键数据，从最底层的技术链路上隔绝所有潜在偷窥者、盗窃者。

今天，数据已经成为与劳动力、土地、技术、资产并重的第五大生产要素，数据的重要性可见一斑。

所有的企业都在关注如何在合法合规的前提下挖掘数据的价值，国家也在立法立规层面全面促成此事。比如最新的国家的会计准则中明确了数据可以作为企业的资产进行数字交易，参加融资活动。各个地方的数据交易所也如雨后春笋，如杭州数字交易所于今年八月成立，在云栖大会主会场，杭州市委书记刘杰也强调要将杭州打造成为全国的数据交易的高地。由此可见，数据交易会成为未来主要的市场趋势。

另一方面，AIGC的横空出世，也让数据的重要性日益凸显。众所周知，AI大模型核心的要素是三部分：数据、算法和算力。关于算法，现在有很多开源算法，非常容易获取，性能基本可以媲美成熟的商业公司；算力，只要有足够的资金，都可以购买到；唯独数据，它是一家企业最核心的资产，是最具核心竞争力的部分，无法从外部获取。

今天全球所有用户正在面临更加严峻的数据安全的威胁，一方面是由于数据量在爆炸式地持续增长，很多数据来不及保护；另一方面，是因为恶意攻击者的攻击手段层出不穷、防不胜防，今年全球最大的数据泄露事件，莫过于因使用了MOVEit产品的公司而导致数据中勒索病毒了，IBM、普华永道等大型公司都相继中招，其中数据的赎金最高可达8000万美金，由此可以数据的价值及安全的重要性。

2、数据安全保护面临的问题

今天，对于所有的企业，数据安全的保护都是重中之重，但即使是最资深的数据安全专家，在数据保护过程当中，也会面临各种各样的难题。

首先是数据泄露事件，除上面提到的黑客攻击之类的事件之外，企业内部的流程不规范、工作人员安全意识淡薄等都有会导致数据泄露的风险；其次，暗数据的存在也会让数据保护无从下手，如物流公司保险单、合同发票等数据都是非结构化的数据，这些数据包含了许多用户个人的隐私，而这些数据很多企业无法感知；此外，在数据安全是数据交易的基础与前提，在多方参与数据共享或共同建模的产品下，都不希望其他人看到自身的数据，保证数据的“可用不可见”。

3、阿里云数据安全保护网

阿里云基于对市场趋势的理解、以及数据安全中用户面临的痛点问题，从数据存储、数据传输、数据计算角度全链路地构建了数据安全保护的数据保护网。

（1）数据存储安全

用户上云的数据都放在云盘中，阿里云针对性地推出了存储加密能力，包括快照加密；在操作系统镜像产品中，阿里云提供了镜像加密能力，包括镜像安全扫描。

（2）数据传输安全

阿里云构建了全面的网络防攻击网，当用户登录到阿里云创建第一台ECS实例开始，就默认进入阿里云防攻击网络的保护体系之内，如安全组、网络隔离、网络ACL、云防火墙等，更进一步会做主动的入侵检测，如流量日志、深度包检测等能力，让黑客攻击、病毒无所遁形。

（3）数据计算安全

这是阿里云今年重点构建的能力，在整个数据保护链路中，数据计算过程中的安全保护是业界的难题。数据计算过程指的是在程序运行过程当中，数据频繁在内存中更新，阿里云主要采用了TEE硬件机密计算技术，如Intel SGX/TDX、AMD SEV、海光CSV等，对运行中的数据进行加密保护。

4、阿里云机密虚拟机

上面提到，阿里云今年安全领域的重点工作就是构建TEE机密虚拟机。阿里云机密虚拟机的能力覆盖了Intel、AMD、海光三大主流平台。

在Intel SGX技术上，阿里云率先推出了g7t实例，将SGX技术搬到了云上，服务云上客户。今年阿里云推出了基于Intel SPR的实例g8i，性能大幅提升，同时引入基于Intel的TDX机密计算技术，在SGX基础上，进一步降低了开发者使能机密虚拟机的门槛。

在AMD平台，阿里云在今年推出了基于AMD最新处理机平台Genoa的8代实例g8a和g8ae，除了性能和性价比大幅度提升之外，在安全能力上启用了AMD SEV技术，提供机密虚拟机能力。用户的业务无需做任何改造，可以直接使能TEE机密虚拟机。

在海光平台，阿里云最新推出了对应的实例g7h，其底层采用的是CIPU架构，搭配了中国自研的海关3号处理器，兼容国产的统信、麒麟等操作系统。在软件链路上，支持国密加速如CSV，包括可信计算vTPM，从硬件到软件，全链路地构建数据保护的网络。

无论是Intel实例、AMD实例，或是海光实例，其底层都是由阿里云CIPU架构驱动的。在CIPU架构层面，支持vTPM可信启动根，云服务器从开机到bios，再到操作系统加载，全链路地做到可信启动，有效杜绝类似于rootkit/bootkit等恶意软件的攻击。TEE硬件机密计算+vTPM可信计算实现了云上数据保险柜能力的构建，有效保护运行过程中数据的安全。

5、阿里云ECS实例可信安全能力图谱

先来了解下可信计算基的基本概念，它与上面提到的vTPM可信计算是两个不同的概念，可信计算基的定义是安全执行环境中所有的固件、软件，包括硬件在内的系统总体。简单来说，通过技术的方式排除用户对云服务商的不信任，理论上来说，可信计算基的范围越小，单元粒度越低，攻击面越小，安全级别越高。如租户租房子，在房子中放置保险柜，所有的机密数据都放在保险柜中，所有的恶意攻击者都无法看到保险柜中的数据，包括房东，数据可以得到全面的保护。接下来具体来看阿里云整个机密虚拟机的安全能力，如下图：

最右边g7t实例基于Intel SGX技术，其安全级别能力最高，因为其可信基的单元粒度小到了Enclave级别。但是，其较大的缺点是使用门槛很高，因为它运行在虚拟机的操作系统中之后，数据要进出Enclave，需要对代码进行细致的规定。

其次，基于Intel的TDX、AMD SEV、海光CSV一层的机密虚拟机。在这层的虚拟机，其特点是安全能力不如SGX，因为其可信基包括了整个虚拟机的操作系统，如上面提到的“房子”，可看作是一个大的“保险柜”；但其免去了整个代码的侵入性，使用门槛较低。现在大部分用户都选择采用该层的实例构建自己的隐私计算平台。最基础的是基于TME加密技术，包括阿里云自研的神龙Enclave技术。它的可信基范围更大，适用性更广。

以上所有阿里云提供的机密虚拟机基于图谱上的能力，用户在创建实例时，在选择对应的实例之后，只要勾选对应的TEE技术，就可以快捷地进入对应的机密虚拟机当中。

6、阿里云机密虚拟机的优点

所有阿里云提供的机密虚拟机能力，以及前面提到的数据存储、数据传输、安全保护，用户在云上可以得到媲美甚至超越线下的数据安全的保护。

如今，整个阿里云的机密虚拟机正在服务众多的数商客户，像多方计算、联邦学习、同态加密等行业客户，帮助他们在云上方便快捷地构建隐私计算服务平台。除此之外客户还可以方便地享受到云上的资源便利。

第一，资源的弹性，当有项目上线时，打开算力，一键部署实现隐私计算平台的搭建；当项目结束后，就可以把平台快速释放，从最大程度降低用户的成本。

第二，基于TEE硬件可信计算技术，相比于传统的联邦学习、多方计算，无论是在通用性还是在通信效率，或是在计算效率上都得到了大幅的提升，即实现了提效。

第三，便捷，当数商客户去获取他们的客户的时候，通过云上快速搭建的能力，可以方便地向客户交付POC测试环境，极大地提升获客效率。

下面有请我的同事刘煜堃同学为大家介绍基于机密虚拟机的数据保护解决方案。

刘煜堃阿里云高级安全专家

二、基于机密虚拟机的数据保护解决方案

1、核心能力——远程证明

在进入到解决方案之前，大家在听了机密虚拟机之后是否有这样的一个问题，阿里云为客户提供了非常安全的执行环境，但从客户的视角来看，其数据在workload中执行，阿里云如何获取客户的信任，如何能够确保数据能够被安全保护。这涉及到非常重要的安全能力——远程证明。

（1）含义

远程证明，顾名思义，它本质上是对安全执行环境向远程的服务进行安全的证明，证明其安全与可信的状态。具体来说，在远程证明的过程当中有两个核心的角色，一方是机密虚拟机，又称之为可信的安全环境或可信计算的环境，另一方是客户侧的远程证明服务，通常来说，客户会把远程证明服务部署到自己信任的区域，保证是自己控制权下的服务。

（2）具体流程

首先，当需要进行远程证明时，实例向硬件发送请求，取得由硬件背书的远程证明消息。该远程证明消息是由硬件背书并通过密码学的方法进行安全保护。

在取得消息之后，可信计算环境将消息发送到远程证明服务当中，远程证明服务可以通过一系列的密码学方式验证可信证明消息，进而确保计算环境的安全可信。

在完成认证之后，客户就可以把一些敏感数据注入可信凭证，注入密钥。举一个典型的云上的例子，如可以把一些授权的Key，或者授权的AK发送给核心执行环境，由执行环境进一步地获取更多的敏感信息，如向KMS请求密钥的方式。

在这个过程中，有几个核心的关键点。第一，远程证明的能力或可信执行环境是由硬件安全保证的。整个过程是由硬件背书，并通过密码去保护的。远程证明能力目前已经在Intel SGX/TDX、阿里云Enclave、ECS vTPM多种紧密计算平台上获得支持，同时也向客户提供了相应的远程证明服务。

第二，通过远程证明方式给客户可证明的能力，同时给到客户先验证再部署的安全流程。客户可以先对计算环境进行安全验证，在通过验证之后，再把相应的密钥下发到客户的执行环境当中，一方面可以确保云平台的安全性跟业务的完整性符合客户预期，另一方面能够把安全决策权、数据控制权交还给用户。

2、数据全生命周期保护解决方案

基于远程证明能力，阿里云在ECS上为客户提供了数据全生命周期保护的解决方案，涵盖计算、存储、网络等数据全生命周期的形态。

通常而言，在ECS上客户会使用虚拟机镜像部署虚拟机，而在机密虚拟机场景下，则可以通过机密虚拟机的镜像构建工具，把机密虚拟机构建为加密后的机密虚拟机的加密镜像，而密钥由客户所持有，在用户的可信区域保持。之后，客户可以将机密虚拟机的加密镜像部署到云上，搭建机密虚拟机实例。

在实例启动之后，可以通过远程证明的方式验证虚拟机、镜像的安全性，验证镜像是否被篡改，在完成验证之后，机密虚拟机得到密钥，通过密钥来同时结合到机密虚拟机中的加密文件系统，对加密后的云盘进行文件系统的访问。同时也可以使用密钥基于传输层安全协议对网络的流量进行保护。

通过这套解决方案，可以对数据进行全流程的加密，防止未授权人员（包括未授权的平台管理员、数据管理员、攻击者）直接窃取敏感数据。

3、机密计算的趋势

对于计算而言，数据在计算态的保护一直是业界的难题。早在2015年，Intel的SGX在数据中心首次引入了机密计算的概念，实现数据的计算态的安全防护。在技术早期会有很多限制，最初SGX的可用内存较小，远程证明能力不完备，但随着近年来软硬件厂商包括云厂商、硬件厂商技术的不断迭代，目前主流的芯片厂商包括Intel、Amd、海光都可以支持应用在云上的大规模部署机密计算的能力。

就如从HTTP到HTTPS，早在十几年前，大部分的Web站点都是基于80端口HTTP协议工作的，但如今大部分的Web站点都已经标配了HTTPS能力，甚至很多站点开启了强制的HTTPS协议，只允许使用HTTPS。对于云计算来说，机密计算也相当于是云计算的HTTPS，能够实现云计算在计算态的默认安全能力的保护。

4、阿里云机密计算产品技术矩阵

基于我们对机密计算技术的判断，阿里云在全站的产品都布局了机密计算的能力，期望用户能够以默认使用云产品的方式能够无缝顺滑地获得计算态的保护能力。以下是阿里云机密计算产品技术矩阵：

如上图所示，从最底层的CIPU、Hypervisor VM，再到上层的OS容器，最后到上层的应用，都有相应的产品和技术的能力。在最底层，基于CIPU的安全架构为客户提供了可信根、硬件加密加速，包括硬固件安全的能力；再到CPU侧，支持不同平台的机密计算能力，实现了运行态的内存数据隔离和加密的保护；再到Hypervisor，有神龙的虚拟化Enclave实现虚拟化层的强隔离。

同时，在VM中，从7代的Intel实例开始就标配了虚拟可信根，阿里云是国内首个标配虚拟可信根的公共云厂商；另外，在OS上，龙蜥操作系统是业界首个支持机密计算的开源操作系统，包括龙蜥社区的Inclavare Containers是业界首个支持精密计算的开源容器项目，同时在容器产品中，例如ACK中为客户提供了机密容器的支持；在上层应用上，除了提供注入SDK、远程证明服务等一些基础的应用能力外，还提供了全加密数据库，包括Datatrust隐私计算类的数据融合计算等数据保护类的产品。

阿里云希望通过领先的安全技术持续地帮客户构建更安全的计算环境，给客户提供更高安全等级的数据保护。阿里云除了自身全面地提供机密计算的支持之外，也希望联合计算巢携手为客户来打造既安全又便捷的数据安全和隐私保护的解决方案。如今其实在计算巢上，可以非常容易地获取蚂蚁的一系列隐私保护的解决方案，这部分内容后面会详细介绍。

5、机密计算环境典型的用户场景

（1）场景一：生成式AI模型/数据保护

目前我们正处在AI的技术革命之下，对于每个公司而言，AI模型、prompt、参数是公司的核心竞争力，因此各公司对于AI模型、prompt的保护非常看重。与此同时，数据也是公司核心竞争力的体现，在模型的推理、训练的过程中都会涉及到用户数据的使用，而对于用户隐私数据的使用，对业界、各个企业的隐私合规问题是很大的挑战。

通过上面介绍的机密虚拟机或机密计算的解决方案，我们可以非常有效地保护生成式AI的模型和数据，可以将AI应用构建成为加密后的机密虚拟机镜像，之后再将应用部署在云上，部署之后通过远程证明链路，验证环境安全可信，再把一些关键密钥下发到执行环境中，做模型以及prompt的解密，在解密之后再去在安全环境中进行相应的数据处理，从而保证所有的AI模型、prompt数据在可信的计算环境中被安全地处理，而在计算环境之外都以密文的方式被保护存储，进而防止未授权的一些攻击者，包括平台管理员、数据的管理员等窃取数据。

从这里也衍生出两个在机密计算场景下典型或较为通用的客户场景。一方面是个人隐私保护，另一方面是多方的数据融合计算。

（2）场景二：个人隐私保护

对于每个终端用户而言，对提供给数据服务提供商的敏感数据都有一定的顾虑，如身份证、银行卡的信息会在大量的应用中被托管，许多游戏相关的APP对游戏账号的数据进行收集分析时会要求提供游戏账密，可能会导致信息泄露。客户会担心服务提供商滥用或泄露数据，而阿里云机密虚拟机可以非常有效地解决问题，客户可以将敏感数据安全地传输到机密计算环境中进行处理，一方面可以通过机密计算环境保证数据的安全性、隔离性，另一方面也可以通过远程证明的方式向用户证明数据是被安全、合理地操作、使用，而未被恶意篡改。

（3）场景三：多方数据融合计算

例如，两个用户a和b都有一部分数据，而他们又希望与对方做联合的分析、训练、预测，以获取数据更大的价值。但在通常情况下，对于两个公司而言，双方分享数据有非常多的安全顾虑，一方面出于自己公司安全性考虑，一方面还包括客户隐私合规性的考虑，很难实现数据共享。但在机密虚拟机可信执行环境的保护下，可以通过机密虚拟机提供，实现数据的“可用不可见”。

用户双方可以同时将自己的数据置于可信执行环境中，而由于数据在处理过程中无法被外部窃取和篡改，所以在数据处理完之后a和b会拿到联合训练的结果，但都无法获取到训练过程中的明文数据。同时，通过远程证明的方式，可以向a和b证明数据是以a、b双方公认的方式合理使用的。在过程中，可以实现数据的可用不可见，同时又能保证a、b各自对数据的所有权。

前面介绍了机密计算和基于机密虚拟机的一些解决方案和客户场景，蚂蚁作为金融行业的关键基础设施，在个人隐私保护，包括数据安全、云计算方面有非常多的优秀实践，接下来由蚂蚁集团高级技术专家肖俊贤为大家带来蚂蚁机密PaaS的最佳实践的分享。

肖俊贤蚂蚁集团高级技术专家

三、最佳实践——蚂蚁机密PaaS

大家好，我是来自蚂蚁集团的肖俊贤，首先感谢阿里云同事的邀请以及云栖的观众朋友们，让我有机会在这里和大家分享蚂蚁在机密计算方面的一些工作情况。

我分享的内容主要有以下四个部分：第一部分，蚂蚁在机密计算部分的工作简介；第二、三部分，蚂蚁在机密计算部分两个主要的工作，即机密计算引擎和机密计算服务；第四部分，信托邦数据协作平台，也是最近的和阿里云合作的案例。

1、蚂蚁机密计算全栈方案

蚂蚁在机密计算方面已有多年的积累，若按照云上体系划分，蚂蚁在IaaS层有跨CPU兼容的TEE方案HyperEnclave，主要的应用场景是线下一体机或独立机房，在云上主要依赖于阿里云提供的ECS机密计算实例；在PaaS层，主要的工作围绕两部分，一部分是机密计算引擎Occlum，另一部分是机密计算服务KubeTEE；基于机密PaaS部分，蚂蚁做了一些机密SaaS服务，同时也支持其他业务部门做隐私计算平台，如蚂蚁MAPPIC隐私AI平台、蚂蚁链摩斯隐私计算平台。蚂蚁开源的隐语隐私计算框架和我们的机密PaaS部分的工作也有紧密的合作。

2、机密计算引擎

（1）特点

机密计算引擎Occlum是蚂蚁主导的开源项目，是机密计算联盟引入的第一个国内的开源项目。它本质是为机密计算打造的内存安全、支持多任务的TEE OS，具有安全、易用、实用、高效等特点。Occlum目前支持150+个系统调用，可以支撑业界主要的应用软件和生态软件，同时也支持C、C++、Python、Go、Java、Rust等主流的开发语言，还支持包括加密文件系统在内的安全组件。基于Occlum，用户可以跳过原本SGX SDK开发难度较大的问题，获得像普通的Linux或虚拟机一样的开发体感，把应用无修改地轻松迁移到TEE机密计算环境中执行。

（2）方案

Occlum机密计算引擎从很早就开始与一些主流的应用相结合，形成了相应的参考方案。这些方案在实际业务落地的过程中，也吸收了一些反馈，最终形成了机密计算引擎最佳实践的典型案例。希望通过这些案例的积累帮助用户降低使用机密计算的门槛，也为其使用机密计算提供参考。

①机密分布式大数据分析引擎

机密分布式大数据分析引擎来自蚂蚁与Intel BigDL团队合作的隐私保护机器学习平台。它基于Occlum将大数据引擎Spark放到TEE中，与远程证明服务、机密计算密钥管理服务等相结合形成“端到端”的数据安全流程。一方面，可以把原生的Spark使用习惯、应用程序无缝迁移到TEE中，从而获得运行时数据保护的加持。另一方面，因为基于Spark的分布式计算，也能让隐私计算的数据规模突破单机限制，得到很大提升，经测试可以承受TB级别的计算，从理论上讲，它只受机器资源上限的限制。

② 密态时空计算引擎

密态时空计算引擎是基于Occlum将PostgreSQL数据库放到TEE环境中，当然也需要结合密钥管理的流程做到全流程的安全。该方案引入PostGIS分布式插件进行大规模的数据量的扩展，另外还引入了时空计算的插件，增强对位置、轨迹等时空数据的处理能力和效率。该方案已经在某个部委的现场做了部署，可以支持省级GB级别遥感数据的融合计算和分析查询。

③ 数据联合风控引擎

联合风控的引擎已在蚂蚁内部使用，主要针对国际支付产品下跨机构数据的融合计算，解决数据安全合规的问题。它是在Spark分析引擎的基础上，把所有与数据有接触的业务应用都放到TEE中运行，以保证数据全生命周期的安全。这些应用会形成可信的体系，部署在阿里云国际机房的ECS实例上，基于KubeTEE机密集群调度能力管控机密计算的资源及应用的调度。

④ 机密大模型推理引擎

蚂蚁将常见的大模型基于Occlum运行在TEE环境中，利用机密计算解决三个方面的问题：第一，让大模型作为公司的核心资产受到保护；第二，让用户输入的隐私等敏感数据得到保护；第三，验证基于TEE环境可以进行大模型的推理服务。我们集成了Intel BigDL团队的大模型的优化，经过实际测试，聊天服务较为顺畅，一些AI推理场景可控制推理在可接受的时间范围内完成，在GPU资源紧张的情况下，一定程度可以用CPU TEE同时满足业务对安全和性能的要求。

3、机密计算服务

前面的机密计算引擎中非常重要的一点是如何做到“端到端”的数据安全，这依赖于底层的KubeTEE提供的基础服务。

KubeTEE是结合Kubernetes和TEE机密计算技术的服务组件，底层机密计算集群主要是解决在Kubernetes上的资源管控和机密应用调度的问题；上层的核心部分围绕可信应用提供相应的基础服务，包括远程证明服务、身份认证服务、密钥管理服务等。

从逻辑上讲，为什么要提供这些服务呢？这来源于实际业务支持积累和客户需求。TEE可以看作是中心化的计算黑盒，用户要把数据传输到安全的环境中进行统一计算，这个过程中要解决的关键问题包括三个：第一，要保证数据持有方的数据能够在中心化计算环境中不被泄露；第二，数据使用方在使用数据时按照期待的行为合理使用；第三，相对于传统的应用，TEE有其自身的特点，它会把自身业务管理员排除在可信范围之外，这也是一个额外的挑战点。

防数据泄露本质上依赖的是TEE技术，因为TEE技术可以保障数据运行时的安全性。但我们仍旧要进行一些额外的动作，如要对在TEE中运行的可信业务处理逻辑做远程证明，其原理前面有提到，基于远程证明保证只有经过数据持有方验证过的业务逻辑才能访问敏感数据。

要保障数据安全，仅防数据泄露远远不够，还应让数据持有方提供的数据一直处于其自身的授权管控状态下，因此，还应有数据防滥用的机制，以求只有经授权的使用方才能访问敏感数据。这个过程要涉及到一些流程，如通过远程验证服务验证使用方的可信身份，基于可信身份进行授权管控，同时对数据持有方的数据进行确权等。通过这套基础服务逻辑，可以保证数据是在可控状态下被使用的。

在防管理员方面，TEE可以确保不信任基础设施管理员，但应用的提供方及业务本身的管理员的管理行为是否可信还需审计验证。通过验证再使用或者审计之后追责，才能真正信任相关的管理员。

综上所述，KubeTEE提供的基础服务其实是为了打造机密计算信任体系，为应用构建信任链，让各个参与方之间形成信任传递关系。TEE在作为机密计算黑盒的情况下，同时信任机制对使用方是安全透明的，数据持有方能够放心把数据上传到可信环境，数据使用方能够在被管控的状态下使用数据。以此为前提，才能让公有云基础设施提供方、数据持有方、服务提供方等互不信任的参与者基于机密和信任最终达成协作关系，挖掘数据的更大价值。