聂华，从2013年接手曙光云计算公司以来，并没有想过2015年的曙光，会在云计算的路上走得如此之快。 这位曙光公司高级副总裁，曙光云计算公司总裁，在2015年3月，经历了曙光数据中国大战略的发布，城市云和行业云被曙光提到策略高度，又在10月见证了VMware公司与曙光成立云计算合资公司。 “其实，很多将曙光定义成传统的基础设施供应商，这并不准确，曙光从2009年开始就在成都建立了国内第一个云计算中心，7年来，曙光尝试了很多，也积累了很多，数据中国是曙光对云计算策略的一个总结，同样也是升华”，聂华说。 和业界很多云计算的企业有所不同的是，曙光的思维可谓另辟蹊径，并没有将云计算战略直接摆在台面上。数据中国，进一步强调了数据价值，和转型数据服务商的方向。而战略中的城市云则内置，成为大数据平台的底层平台，最终服务于数据应用。 这就是曙光云计算的真谛：城市云平台内置，数据价值前移。以点破面 曙光为城市云走了多少路？ 很多在2015年3月第一次听到曙光在数据中国发布时，提到百城百行时会觉得有点不可思议。以曙光公司的体量，在中国要如何做到百城百行？ 其实回顾曙光对云计算投入的历程。早在2008年，曙光云计算技术有限公司就已经正式成立，作为曙光在云计算领域提供服务的运营主体。曙光公司历军总裁曾说，希望这家公司能不背包袱，轻装前进，摸索出一条符合国情与市场的云计算服务模式。 聂华说，“曙光是一家技术先导的企业，把精力放在探索市场，而很少去宣传自己”。作为中国最早的云计算探索者，在2009年，云计算概念刚刚提出的时候，曙光就在全国首创了“城市云”概念并注册商标，提出建设专属于一座城市、一个区域的“专有云模式”。 曙光城市云体系根据这一模型，同一年，曙光的国内第一个云计算中心在成都建成。时至今日，这个云计算中心已经建设了电子政务云服务平台、公共计算服务平台、企业创新服务平台和物联网数据处理平台。 由此可见，数据中国并不是2015年曙光才“想”出来的策略，而是从2008年开始试水云计算开始，一步步走出来的。 据了解，2011年，无锡城市云计算中心成立，创新性地提出“城市云”概念，得到了国家多部委的认可，并进入了发改委“国家云计算应用示范工程的首批项目”名单。2012年以来，随着曙光云计算业务的不断拓展，曙光开始深入参与无锡、盘锦、宜昌、宁波等多个地区的智慧城市顶层设计和规划工作。 截止到2015年，曙光已经在全国成功部署了16座云计算中心。经过事实证明，曙光的城市云服务与运营模式完全实现切实符合我国信息化建设国情，满足区域政府智慧城市建设需求的目的，在各地信息化建设中发挥着不可替代的重要作用。 “曙光在很多省市已经布局了城市云业务，在成都、无锡、南京、包头、哈尔滨、宜昌、乌鲁木齐等地建设、运营多个城市云计算中心，2015年以来，我们整个云计算业务的开拓速度大幅度加快，下半年已经陆续有超过10个城市开始建设城市云计算中心。”聂华说。 可见，曙光对云计算的布局，是以点带面。而“数据中国”恰恰是，随着曙光城市云布点越来越多，曙光的着眼点不局限于城市，而扩展至整个国家的一种集中体现。若将各地云计算中心比喻为人体经脉上的神经元，只有打通了各个神经元才能串联、通畅经脉网络。同理，各个城市数据汇集才能构筑中国的数据网络。这就是曙光“数据中国”战略的真实目的。 在我看来，曙光一直都不是一家市场主导的公司，并不会大开大合的去投入市场。这是一家醉心于技术的公司，面对市场时，更加稳健。在2009年成都的云计算中心取得成功后，才逐渐将成熟的经验向全国复制。 但中国的城市建设，何尝没有安全和稳妥的考虑？往往一个成熟可见的案例，更能够打动城市管理者的内心。所以，曙光的举动，不仅仅是以点带面，更是以点破面。智慧城市的大视野 城市云得以内置 有了以点破面的曙光云计算，开始将视野放的更远：智慧城市。 智慧城市和城市云之间，是什么关系呢？先来看看城市云的定义。 城市云，是面向政府、企业和公众的城市综合信息服务体系，它以城市云为主要载体，统筹建设和整合区域内分散的硬件、软件和数据资源，并一种更加智慧的方法实现资源共享和业务协同。能够显著提高城市管理和公共服务的能力。 这显然和智慧城市所要实现的目标有很多相似之处。 1+2+3”的智慧城市建设模式聂华说，曙光在此基础上提出了“1+2+3”的智慧城市建设模式，既：以“1”套城市信息化建设顶层设计理念，搭建以云计算中心和大数据平台为基础的物理与数据“2”层平台，构建以“民情流水线、城市生命线和经济补给线”为代表的“3”类应用，实现城市信息化建设统一协调发展的智慧城市建设方法。 可见，在这个模型当中，城市云不会再是一个独立的策略，而是与大数据平台共同组成了一个完整的平台层，作为智慧城市的一个技术中枢，最终形成能高效支撑城市业务应用、提高城市管理水平、改善市民生活质量的城市信息化服务枢纽。 “什么是真正的云计算？如何让云计算中心成为一个智慧城市的大脑，能成为智慧城市的一个支撑，我认为这才是真正的云计算。”聂华认为，这就是曙光区别于一些传统IDC和云计算企业的不同，云计算应该具有更高的含义，而不仅仅是基础设施。 聂华认为，云计算应该有一些关键性的支撑技术，云操作系统层或者虚拟层的技术非常关键。2011年，曙光自主研发了全国首个云计算操作平台“Cloudview”，目前已经在公安、医疗、教育、军工等各个行业部署并安全、稳定运行多年。 作为曙光自研的Cloudview云计算操作系统，它可以充分考虑云计算中心的资源分配、业务运行和运维服务等各种管理要素，实现云计算中心的软硬件平台资源的管理整合。  曙光与VMWare宣布成立合资公司而与VMWare宣布成立合资公司，则有望促进Cloudview在曙光城市云计算中心的发展。 聂华说，今天，90%以上的生产系统，全都部署了VMWare虚拟化技术，VMWare一定程度上已经形成了标准，与VMWare达成合作后，Cloudview平台将全面引入VMWare在服务器虚拟化领域的先进技术，包括vSphere/vCenter服务器虚拟化管理平台、VSAN存储虚拟化、NSX网络虚拟化等，并强化Cloudview在上层管理平台的优势，最终将Cloudview打造为面向大规模、分布式私有云中心快速、敏捷、高效的构建、运维和服务交付的综合性云计算管理。 另外，为达到安全可控，曙光与VMWare成立的新公司将推出集合两方顶级优势的全新云计算操作系统“Cloudview”，并接受源代码级审查。既加快了国内同类技术的发展速度，少走弯路，又能更有效、更安全的满足国内云计算市场发展需求。 可见，有了智慧城市的大视野，城市云变成了这个大体系中的一个平台，就像云计算inside一样。而有了VMWare的合资，曙光在城市云计算中心操作系统层面又迈出了一步。为真正实现百城百行，打下了基础。数据价值前移 这是不是云计算的最佳路线 在过去，云计算圈地运动中，各地兴建了大量的数据中心，被诟病为空城计划。 其中，最主要的一个问题就在于，云计算到底是由什么驱动的？毫无疑问，合理的流程是应用驱动的，但很多地方云计算发展呈现了本末倒置的形态，不考虑应用，先搭建基础设施平台。 目前，曙光在全国部署的云计算中心已经多达16座。尤为值得关注的是，众多同类厂商或软件企业以解决方案或项目形式的服务模式不同，曙光坚持走自主投资，企业经营运维、政府采购的模式。 这种模式的好处是，避免政府信息化建设反复多次投资，可为当地政府节省硬件投入、团队建设等投资，同时可以缩短一项政务应用的上线时间。这“一增一减”就是云计算在智慧城市中发挥的价值。 对此，聂华表示，“曙光的云计算中心为什么作为智慧城市的一部分，而没有独立的运行。问题就在于，曙光要做应用驱动，我们要帮助地方政府解决很多民生和政务方面的应用。” 所以，曙光的城市云得以后置，而面向应用端的大数据解决方案走到了台前。 聂华举了一个例子，“比如，社会治理应用。这种应用是各委办局数据的综合体，我借助一个社会治理，我可以把数据汇集起来，搭建这个平台。这个平台更像一个大脑，只有让里边的数据在应用当中发挥价值，这才是智慧城市。” 这是一个很准确的形容。无论是云计算还是大数据，最终的根本还是处理数据，并挖掘数据的价值，并将之形成价值。 如今，曙光城市云已经在各个城市信息化发展中扮演的重要作用，再加上曙光自身全新PaaS平台各产品的优势技术，可以说曙光在云计算领域自下往上的掌握了所有核心技术，突破了云计算发展的重要壁垒，真正走出了符合国情的云计算发展之路。 我们不禁要问，什么是云计算的最佳路线。搭建云计算中心，分布式的管理云计算的资源，提供云计算的服务，但最终的目的，一定是体现在数据价值上。没有应用驱动的云计算，难称云计算。没有数据价值的云计算，毫无价值。 这就是曙光的云战略，城市云平台内置，数据价值前移的真正含义。

一、SAN         SAN（Storage Area Network）存储区域网络，是一种高速的、专门用于存储操作的网络，通常独立于计算机局域网（LAN）。SAN将主机（管理server，业务server等）和存储设备连接在一起，能够为其上的任意一台主机和任意一台存储设备提供专用的通信通道。SAN将存储设备从服务器中独立出来，实现了服务器层次上的存储资源共享。SAN将通道技术和网络技术引入存储环境中，提供了一种新型的网络存储解决方案，能够同时满足吞吐率、可用性、可靠性、可扩展性和可管理性等方面的要求。        通常SAN由磁盘阵列（RAID）连接光纤通道（Fibre Channel）组成（为了区别于IP SAN，通常SAN也称为FC-SAN）。SAN和服务器和客户机的数据通信通过SCSI命令而非TCP/IP，数据处理是“块级”（block level）。SAN也可以定义为是以数据存储为中心，它采用可伸缩的网络拓扑结构，通过具有高传输速率的光通道的直接连接方式，提供SAN内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。SAN最终将实现在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的无缝扩充。         其中，SAN网络又被细分为FC-SAN网络和IP-SAN网络。1、FC-SAN      FC-SAN顾名思义就是直接通过FC通道来连接磁盘阵列，数据通过发送SCSI命令来直接与硬件进行通信，从而提高了整体的速率。      FC-SAN的构成：       在FC-SAN中，有一些专用的硬件和软件。硬件包括FC卡、FC HUB、FC交换机、存储系统等，软件主要是FC控制卡针对各种操作系统的驱动程序和存储管理软件。       ①FC卡：主要用于主机与FC设备之间的连接。       ②FC HUB：内部运行仲裁环拓扑，连接到HUB的节点共享100MB/S带宽（或更高）。       ③FC交换机：内部运行Fabric拓扑，每端口独占100MB/S带宽（或更高）。       ④FC存储设备：采用FC连接方式，光纤接口可以有一到多个。FC存储设备通常采用光纤的硬盘，也有Fibre to SCSI（Fibre to ATA）的解决方案，使用SCSI（或ATA）的硬盘，在整个配置上较便宜。       ⑤存储网络管理软件：存储管理软件主要的功能是自动发现网络拓扑及映射，当在存储网络中增加或减少时自动发现及组态。       ⑥高性能的光纤通道交换机和光纤通道网络协议是FC-SAN的关键。把以光纤通道交换机为骨干的网络拓扑结构称为“SAN Fabric”。而光纤通道协议是FC-SAN的另一个本质特征。FC-SAN正是利用光纤通道协议上加载SCSI协议来达到可靠的块级数据传输。                                                                                                                   FC-SAN的应用场景：     由于FC-SAN是为在服务器和存储设备之间传输大块数据而进行优化的，因此对于以下应用来说是理想的选择：     ①关键任务数据库应用，其中可预计的响应时间、可用性和可扩展性是基本要素。     ②集中的存储备份，其中性能、数据一致性和可靠性可以确保企业关键数据的安全。     ③高可用性和故障切换环境可以确保更低的成本、更高的应用水平。     ④可扩展的存储虚拟化，可使存储与直接主机连接相分离，并确保动态存储分区。     ⑤改进的灾难容错特性，在主机服务器及其连接设备之间提供光纤通道高性能和扩展的距离。     FC-SAN的优点：     面对迅速增长的数据存储需求，企业和服务提供商渐渐开始选择FC-SAN作为网络基础设施，因为SAN具有出色的可扩展性。事实上，SAN比传统的存储架构具有更多显著的优势。例如，传统的服务器连接存储通常难于更新或集中管理。每台服务器必须关闭才能增加和配置新的存储。相比较而言，FC-SAN不必宕机和中断与服务器的连接即可增加存储。FC-SAN还可以集中管理数据，从而降低了总体拥有成本。     利用光纤通道技术，FC-SAN可以有效地传输数据块。通过支持在存储和服务器之间传输海量数据块，SAN提供了数据备份的有效方式。因此，传统上用于数据备份的网络带宽可以节约下来用于其他应用。     开放的、业界标准的光纤通道技术还使得FC-SAN非常灵活。FC-SAN克服了传统上与SCSI相连的线缆限制，极大地拓展了服务器和存储之间的距离，从而增加了更多连接的可能性。改进的扩展性还简化了服务器的部署和升级，保护了原有硬件设备的投资。       此外，FC-SAN可以更好地控制存储网络环境，适合那些基于交易的系统在性能和可用性方面的需求。SAN利用高可靠和高性能的光纤通道协议来满足这种需要。     FC-SAN的另一个长处是传送数据块到企业级数据密集型应用的能力。在数据传送过程中，FC-SAN在通信结点（尤其是服务器）上的处理费用开销更少，因为数据在传送时被分成更小的数据块。因此，光纤通道FC-SAN在传送大数据块时非常有效，这使得光纤通道协议非常适用于存储密集型环境。2、IP-SAN      简单来讲，IP-SAN（IP存储）的通信通道是使用IP通道，而不是光纤通道，把服务器与存储设备连接起来的技术，除了标准已获通过的iSCSI，还有FCIP、iFCP等正在制定的标准。而iSCSI发展最快，已经成了IP存储一个有力的代表。      像光纤通道一样，IP存储是可交换的，但是与光纤通道不一样的是，IP网络是成熟的，不存在互操作性问题，而光纤通道SAN最令人头痛的就是这个问题。IP已经被IT业界广泛认可，有非常多的网络管理软件和服务产品可供使用。二、NAS       NAS（Network Attached Storage）网络附加存储。在NAS存储结构中，存储系统不再通过I/O总线附属于某个服务器或客户机，而直接通过网络接口与网络直接相连，由用户通过网络访问。       NAS实际上是一个带有瘦服务器的存储设备，其作用类似于一个专用的文件服务器。这种专用存储服务器去掉了通用服务器原有的不适用的大多数计算功能，而仅仅提供文件系统功能。与传统以服务器为中心的存储系统相比，数据不再通过服务器内存转发，直接在客户机和存储设备间传送，服务器仅起控制管理的作用。       NAS的特点：       NAS使用了传统以太网协议，当进行文件共享时，则利用了NFS和CIFS以沟通NT和Unix系统。由于NFS和CIFS都是基于操作系统的文件共享协议，所以NAS的性能特点是进行小文件级的共享存取。       NAS设备是直接连接到以太网的存储器，并以标准网络文件系统如NFS、SMB/CIFS over TCP/IP接口向客户端提供文件服务。NAS设备向客户端提供文件级的服务。但内部依然是以数据块的层面与它的存储设备通讯。文件系统是在这个NAS 存储器里。      NAS的优点：       NAS适用于那些需要通过网络将文件数据传送到多台客户机上的用户。NAS设备在数据必须长距离传送的环境中可以很好地发挥作用。       NAS设备非常易于部署。可以使NAS主机、客户机和其他设备广泛分布在整个企业的网络环境中。NAS可以提供可靠的文件级数据整合，因为文件锁定是由设备自身来处理的。       NAS应用于高效的文件共享任务中，例如UNIX中的NFS和Windows NT中的CIFS，其中基于网络的文件级锁定提供了高级并发访问保护的功能。三、DAS       DAS（Direct Attached Storage）直接附加存储，直接附加存储是指将存储设备通过总线（SCSI、PCI、IDE等）接口直接连接到一台服务器上使用。DAS购置成本低，配置简单，因此对于小型企业很有吸引力。       DAS存在问题：      ①服务器本身容易成为系统瓶颈。      ②服务器发生故障，数据不可访问。      ③对于存在多个服务器的系统来说，设备分散，不便管理。同时多台服务器使用DAS时，存储空间不能在服务器之间动态分配，可能造成相当的资源浪费。      ④数据备份操作复杂。

KVM 的存储虚拟化是通过什么来管理的呢？

云计算与大数据技术的发展，推动存储系统架构的持续演进，存储系统从最原始的基   于主机的架构逐步向网络化、虚拟化方向发展，存储系统更加关注性能、效率、灵活性、   安全性的提升，而这些特性都需要好的存储架构来满足。粗略分类，存储架构的演进可以划分为以下两个阶段。第一阶段：从离散化到集中化的演进（从DAS到SAN/NAS）。互联网发展初期，存储需求相对简单，数据规模较小，存储系统架构以存储介质直连服务器（Direct-Attached   Storage，DAS）为主，存储介质直接挂载到服务器的总线上来提供数据访问服务，数据存储设备与服务器是一种“同生共死”的状态。这种方式可以简洁地解决数据的存储需求，但也存在着较为明显的弊端。◆  服务器之间的存储系统形成“孤岛”，限制数据的共享访问；◆  随着 CPU 处理能力逐步增强，SCSI连接通道会成为 I/O 的瓶颈，制约性能发挥；◆  随着数据量增长，存储的安全性（备份 /恢复需求）、扩展性问题日益凸显。基于以上症结，存储区域网络（StorageAreaNetwork，SAN）架构以及网络附属存储（NetworkAttached Storage，NAS）架构应运而生。图 1-1展示了 DAS、SAN、NAS使用方式的差异。  图 1-1OAS、SAN、NAS使用方式示意  SAN是一种专门为存储建立的独立于 TCP/IP 数据网络之外的专用网络，连接服务器和磁盘阵列设备，提供高速的数据传输，存储设备在服务器侧以块存储设备形式展现。目前常见的SAN有IP-SAN和FC-SAN（FC是指FibreChannel，光纤通道），其中IP-SAN通过TCP协议转发SCS（I  SmallComputerSystemInterface，小型计算机系统接口）协议，FC-SAN通过光纤通道协议转发SCSI协议（采用光纤接口，可以提供更高的带宽）。SAN的结构允许任何服务器连接到任何存储阵列，不管数据放置在哪里，服务器都可以直接存取所需的数据，这样的方式也便于系统的统一管理以及集中控制。成本与复杂性是SAN存储架构较为明显的缺陷。NAS是连接在网络上具备数据存储功能的装置，因此也称为“网络存储器”，可提供跨平台文件共享功能。NAS 以数据为中心，将存储设备与服务器彻底分离，集中管理数据，存储设备在服务器侧以文件系统形式展现。NAS本身能够支持多种协议（如NFS、CIFS、FTP、HTTP等），而且能够支持各种操作系统。NAS数据存储适用于需要通过网络将文件数据传送到多台客户机上进行访问的用户，可以提供高效的文件共享服务。NAS的缺点也较为明显，扩展性受到设备大小的限制，且只能提供文件级访问，无法满足block级应用的使用需求。第二阶段：从集中化到虚拟化的演进（从 SAN/NAS到分布式存储系统）。SAN/NAS    解决方案的出现，实现了存储系统集中化建设及统一化管理的诉求，为规模化的数据中心基础设施建设提供了便捷途径。数据中心建设过程中不可避免地会出现采购规范多元化、设备型号多样化的情况，存储设备的兼容性问题、异构硬件的统一性问题会给企业的数据运维带来棘手的挑战。存储虚拟化技术应运而生，其核心思想是将资源的逻辑映像与物理存储分开，通过存储系统或存储服务内部功能进行抽象、隐藏和隔离，屏蔽不同物理设备的异构属性，实现数据服务与物理硬件的独立管理，如图1-2所示。图 1-2 存储虚拟化示意  分布式存储系统是存储虚拟化技术的常见展现形式，分布式存储系统将数据分散存储在多台独立的设备上，并对外提供统一的存储服务。分布式存储系统具有高度的可伸缩性以及可扩展性，具有强大的数据访问性能，且对标准化硬件支持更好，允许大规模存储系统可以通过相对低廉的成本进行建设与运维。抛开存储系统架构演进的萌芽阶段的方案（DAS存储方案），可以将存储系统架构分为传统的集中式存储系统以及新兴的分布式存储系统两大类，二者有较大的差异，表现在：◆  传统的存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要；◆  分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负载，利用索引定位数据存储位置信息，不但提高了存储系统的可靠性、可用性以及数据存取效率，   还更易于扩展。1.1.1   集中式存储系统传统的存储也称为集中式存储，从概念上可以看出其架构具有集中性，也就是整个存储是集中在一个系统中的。但集中式存储并不一定只是一台单独的设备，也可以是集中在一套系统当中的多个设备，如图1-3中的 SAN 存储方案就使用了几个机柜来存放数据。在集中式存储系统中包含很多组件，如机头（控制器）、磁盘阵列（JBOD）、交换机以及管理设备等，如图 1-4所示。集中式存储系统中最为核心的部件是机头，机头中的控制器实现了集中式存储系统中绝大多数的高级功能，如对磁盘的管理、将磁盘抽象化为存储资源池、划分逻辑单元号（LogicalUnitNumber，LUN）给客户端使用等，通常机头中包含两个控制器，互为主备，避免硬件故障导致整个存储系统的不可用。机头中包含前端端口以及后端端口，前端端口   对外连接，提供存储服务，后端端口为机头连接更多的存储设备，形成更大的存储资源池，扩充存储系统的容量。机头作为集中式存储系统的统一入口，其处理能力及扩展能力决定了系统整体的定位，通常集中式存储系统只能提供有限的存储系统纵向扩展（scaleup）1能力，很难满足存储系统横向扩展（scaleout）2的需求。通常情况下，可以通过scaleup 方式来扩展单台服务器的性能，满足业务的需求；一旦遇到服务器性能的瓶颈上限后，就需要转而求助于scaleout方式来进一步满足要求。 1scaleup（纵向扩展）指企业大型服务器通过增加处理器等运算资源进行升级以获得对应用性能的要求。2scaleout（横向扩展）指企业可以根据需求增加不同的服务器应用，依靠多台服务器协同运算，并通过负载平衡以及容错等功能来提高运算能力及可靠度。 图1-3    集中式存储系统示例                                   图1-4集中式存储系统组件示意 

3.3.2　适用场景公共云服务提供商推出弹性裸金属服务器，很显然是作为虚拟机云服务器的有效补充，而不是和自家虚拟机云服务器形成竞争关系。那么弹性裸金属服务器适合哪些场景呢？ 混合云和第三方虚拟化软件部署 伴随着公共云的高速发展，通过混合云打通用户线下专有云和线上公共云资源的需求日趋强烈。OpenStack 和 VMware 等 IaaS Stack 在公共云上部署，同时管理用户线上和线下 IaaS 资源，可以看到，VMware Cloud on Alibaba Cloud 就属于此种混合云业务应用场景。而 OpenStack 和 VMware Cloud 等 IaaS Stack 在公共云上部署，最为关键的就是要求公共云提供 CPU 虚拟化的能力，否则在普通虚拟机中部署嵌套虚拟化技术，其性能完全无法接受。具体到 Intel x86 CPU 体系，则要求公共云平台对外提供计算资源的完整虚拟化特性（Intel VT-x 和 VT-d 等硬件虚拟化技术），使得 VMware ESXi、KVM、 Xen、Hyper-V 等虚拟化平台和技术能够平滑上云。而弹性裸金属服务器就能满足这个要求。高隔离容器部署容器技术具备轻量敏捷等优势，正在成为 DevOps 主流技术。相对于公共云 VM 部署容器，使用弹性裸金属服务器部署容器具备零虚拟化开销等性能优势，如图 3-17 所示。虚拟机物理机软件Hypervisor （和VM部署于同一台服务器） 神龙Hypervisor （独立硬件部署） 用户操作系统层Hypervisor层高速低时延伸硬件互联图3-17 　高隔离容器部署同时我们注意到 Clear Container、RunV，以及 Kata Container 等具备高隔离高安全特性的新型容器技术，依赖 CPU 完整虚拟化特性（比如 Intel VT-x）。此种高隔离高安全的容器技术只可能部署在弹性裸金属服务器上。高质量计算服务 高质量计算服务指零资源争抢、零虚拟化开销和高隔离高安全。虚拟化技术在提高数据中心资源利用率的同时，引入了资源争抢等业务难题。 多个 VM 运行在一台物理服务器上，CPU 核、L1/L2/LLC 缓存、内存带宽等CPU 和内存子系统资源通过虚拟化技术抽象和切分，同时提供给多个 VM 使用。传统的虚拟化技术很难根本解决各VM 间资源的争抢问题。而弹性裸金属服务器不存在此问题。高速低时延 RDMA 网络支持场景RDMA 网络在超低时延和减轻 CPU 负载等方面优势明显，但是在网络虚拟化支持方面的短板明显 ；而公共云网络部署的关键是通过网络虚拟化实现网络资源的租户隔离。弹性裸金属服务器在支持原生 ROCE 和 IB RDMA 网络方面，具有天然优势。因此可以看到各家云服务提供商均以裸金属服务器支持 RDMA 网络，以此部署满足HPC 和异构计算的高速低时延互联需求。RISC CPU 支持Intel x86 体系结构对 CPU 虚拟化技术等软硬件的支持最为完善，加上 Intel Xeon x86 处理器在服务器市场的垄断地位，主流公共云 IaaS 虚拟化技术均基于 Intel Xeon x86。但是必须看到，对于特定细分市场，RISC CPU 仍然具备相当优势。比如 Power ISA CPU 在金融保险等市场的优势地位，以及 ARMv8 ISA 在新兴服务器市场崭露头角。如何支持 Power 和 ARMv8 等 RISC 服务器，是公共云服务提供商必须回答的问题。使用弹性裸金属服务器无须 CPU 和内存虚拟化技术的特别适配，就能够快速将 Power 和ARMv8 等处理器在公共云上线部署。GPU 性能无损输出GPU 产品对虚拟化技术支持有限，通过传统虚拟机方式输出 GPU 计算性能，会有严重的性能下降，而弹性裸金属服务器可做到 GPU 性能无损输出。3.3.3　弹性裸金属技术1. 弹性裸金属技术背景2003 年，Xen 在SOSP 发表Xen and the Art of Virtualization，拉开了x86 平台虚拟化技术的大幕。2006 年，AWS 发布EC2（Elastic Compute Cloud），同年发布S3 （Simple Storage Service），拉开了公共云服务的大幕。EC2 的核心正是基于Xen 虚拟化技术。虚拟化技术赋予了EC2 核心产品价值——弹性，同时虚拟化技术给网络虚拟化、存储虚拟化，和管控系统提供了业务部署点。第一代虚拟化技术的特征是：Xen/KVM + 软件network vSwitch + 软件storage initiator + 管控等All on Xeon。这代技术的痛点和思考 ，如图3-18 所示。传统KVM 虚拟化系统导致CPU 计算特性损失众所周知，IaaS 公共云技术的核心是Intel 至强处理器VT 等硬件辅助虚拟化技术（Hardware-assisted virtualization），配合主流虚拟化系统软件（KVM/Xen/VMware ESXi 等），实现了IaaS 弹性计算；客户则是通过ECS（或者 AWS EC2） 购买虚拟机（VM）形式的计算资源。图3-18 　第一代虚拟化技术的痛点和思考得益于高度成熟的虚拟化技术，VM 形式的计算资源“几乎”等价于客户线下的物理服务器资源，但是“几乎”并不是“ 完全”。一个典型的案例就是 Intel 至强处 理器的VT 硬件辅助虚拟化能力会被公共云服务提供商的虚拟化系统“消费掉”，客户无法在公共云VM 实例中再次部署虚拟化系统，致使传统OpenStack 和VMware based workload 无法在公共云部署。客户希望用一套OpenStack/VMware 统一管理公共云线上资源和专有云线下资源，同时在控制面和数据面打通线上线下资源，在兼顾专有云数据安全、法律合规的基础上，充分利用公共云计算资源的弹性能力，但是由于Intel 至强处理器VT 硬件辅助虚拟化能力“被消费”，使得此种混合云技术很难在公共云实现。云原生安全容器创新依赖Intel VT 硬件辅助虚拟化能力输出，这是传统虚拟化无法解决的问题。传统KVM 虚拟化系统导致资源争抢不可避免以传统的KVM 虚拟化系统为例，双路Skylake（96 个HT）计算资源的虚拟化典型部署情况是：有8 个HT 部署网络虚拟化vSwitch 和存储虚拟化，对外售卖88 个HT 作为vCPU 计算资源。我们需要注意到，对外售卖的88HT vCPU 计算资源和8HT 网络/ 存储虚拟化是部署在同一组Skylake CPU 上的，那么如下共享资源争抢是不可避免的。CPU DDR 带宽、LLC 等共享资源的争抢。在机头网络带宽迅速提升的当下， DDR 带宽、LLC 等资源争抢现象愈发突出。半虚拟化（Para-virtualized） I/O 设备模型等资源争抢引入售卖CPU 抖动和售卖I/O 抖动。存储和网络等I/O 内部层级化HQoS 难于实施。一般而言，层级化HQoS 是解决资源争抢的有效手段，电信级网络设备一般会部署HQoS 进行资源调度， 而HQoS 的典型部署方法需要通过芯片实现。传统KVM 虚拟化系统导致I/O 性能瓶颈传统KVM 虚拟化系统由（计算虚拟化）QEMU-KVM + （网络虚拟化）DPDK based vSwitch +（ 存储虚拟化）SPDK based I/O initiator 构成。 在Intel 引入VT 硬件虚拟化支持后，配合KVM、Xen 等虚拟化系统软件，由CPU 指令处理的数据面和KVM 等虚拟化系统软件形成了控制面及异常处理路径，此种软硬件协同设计既实现了CPU 和内存虚拟化的数据路径的最小开销，又保留了KVM 控制路径和异常处理路径的高度灵活性。同处于数据路径的存储虚拟化和网络虚拟化虽然通过DPDK 和SPDK 等技术接近了软件优化的技术极限，但是仍然无法和芯片的加速性能媲美。特别是在网络吞吐向100GbE 演进的过程中，交换网络的带宽能力和Intel 至强处理器的处理能力间的差距逐渐拉大，在传统KVM 虚拟化系统下，通过DPDK、SPDK 等纯软件进行I/O 性能优化的瓶颈日渐凸显。2. 弹性裸金属技术实现第一代虚拟化技术的业务痛点，催生了第二代虚拟化技术的产生，弹性裸金属产品也应运而生。那么第二代虚拟化技术具备哪些特征呢？ 全部I/O 设备通过VT-d 设备直通模式进入VM，以此减少para-virtualization I/O 半虚拟化开销。随着VT-d 设备直通的引入，网络虚拟化和存储虚拟化需要一个新的业务部署点。VT-d 设备直通引入后，SR-IOV 等技术却无法达到和传统QEMU PV 设备一样的灵活性，I/O 硬件虚拟化催生Intel scalable IOV 的业务诉求。随着存储虚拟化和网络虚拟化新的业务部署点的产生，这个业务部署点很显然需要针对计算、网络、存储、安全等IaaS 核心业务部署定制化芯片加速。同时支持传统VM、弹性裸金属服务器、安全容器等IaaS 最新业务诉求。简而言之，Hypervisor 的主要组件全部下沉进入一个定制计算节点，该定制计算节点完成I/O 设备虚拟化、网络虚拟化、存储虚拟化和管控部署，以及安全特性部署等。而主机侧，针对公共云的需求，从计算和内存原来的QUME + KVM 方式，经过高度定制和瘦身后，降低了主机资源占用并提升计算服务质量，演化到了裸金属架构。第二代虚拟化技术使弹性裸金属的产品落地成为可能。阿里云在2017 年10 月举行的杭州云栖大会上正式发布弹性裸金属产品，同年11 月，AWS reinvent 发布EC 2 版本弹性裸金属产品。中美公共云服务提供商可以说在弹性裸金属的产品定义、产品适用场景和技术上殊途同归。从3.3.1 节和3.3.2 节中，我们可以看到弹性裸金属的核心产品技术逻辑：通过技术创新，使普通物理服务器具备虚拟机的弹性和使用体验。正是有了这个逻辑，我们可以推演出技术创新的突破点：通过软硬一体化的技术手段，让普通物理服务器能够无缝接入云平台的管控系统、VPC 云网络和EBS 云盘。VPC 和EBS 云盘接入我们知道在虚拟化技术中，虚拟机是通过Virtio 实现网络和存储I/O 设备的；同时，我们注意到，Virtio 这个半虚拟化设备模型实际上是严格按照“真实”PCIe 设备规范的定义而实现的I/O 设备。也就是说，Virtio 半虚拟化设备完全可以通过芯片实现。90 在通过芯片实现Virtio 的时候，考虑到VPC 和EBS 云盘实现的复杂在通过芯片实现Virtio 的时候，考虑到VPC 和EBS 云盘实现的复杂度，我们采用了新的模式：让芯片透传PCIe TLP 包到可编程处理器，然后通过可编程处理器复用QEMU 已有的成熟的Virtio 后端代码。此种模式能够最大限度地保持既有的虚拟化架构，做到云平台管控系统、VPC 系统、EBS 云盘系统的“零修改”。实现大量弹性网卡（ENI）和EBS 云盘设备接入VT-x/KVM 虚拟化技术具有天然技术优势，支持大量网络和存储设备。而弹性裸金属产品的核心出发点就是要兼具虚拟机和传统物理机的优点。虚拟机对大量网络设备和存储设备的支持，必须在弹性裸金属产品中予以实现。在多种规格的网卡和存储PCIe I/O 设备接入时，根据PCIe 规范有两个方法：1） 通过多级PCIe switch 扩展，实现大量PCIe switch downstream port，然后每个PCIe switch downstream port 挂载一个PCIe I/O 设备；2）通过PCIe SR-IOV 技术，支持大量PCIe virtual function（VF）设备。进一步对比虚拟机I/O 设备，我们可以看到设备的热插拔、Guest OS 的零侵入是公共云IaaS 产品的刚需。只有通过多级PCIe switch 扩展模式，才能通过PCIe native hotplug 技术标准，实现上述和虚拟机一致的设备热插拔和Guest OS 零侵入。产品需求明确后，我们创新性地通过芯片RTL 实现了全球第一个片上多级PCIe switch 扩展，当前最多能够支持63 个设备，以此实现大数量规格的网络ENI 和存储EBS 云盘PCIe I/O 设备接入；同时由于支持原生PCIe 原生热插拔能力，保证了Guest OS 的零侵入，以及客户在Open API 和控制台等方面和虚拟机一致的使用体验。3. X-Dragon Hypervisor 基于神龙的软硬一体的虚拟化技术在阿里云神龙硬件平台下，虚拟化架构也做了相应的升级，使计算虚拟化部分的架构更加清晰简捷，让虚拟机能提供接近物理机的性能。如图3-19 所示，神龙虚拟化架构的主要特点是：I/O 链路从传统的通过软件实现转变为通过硬件和直通设备实现；存储虚拟化、网络虚拟化都在MOC 卡上实现；同时将管控系统、监控程序等都下沉到MOC 卡上。在提供计算服务的物理机上，只运行自己裁剪的Linux 操作系统和轻量化的虚拟机监控器。神龙虚拟化架构比起传统的KVM 虚拟化的关键优化技术点简要描述如下。1）自研虚拟CPU 调度器——VOS VOS（VM-Oriented Scheduler）是面向虚拟机的调度器，是阿里云在神龙平台上自研的调度器，减少了虚拟CPU 调度开销，同时将其他控制面的作业调度给虚拟CPU 带来的争抢下降一个数量级研发的更加稳定和高效的计算虚拟化产品。图3-20 所示，VOS 调度器实现的是非公平调度（与内核中的CFS 调度器不同），让虚拟CPU 线程具有更高执行优先级，保证客户购买的虚拟机的计算性能，而控制面的作业调度执行被安排在预先设定的一个较低优先级和预设时间片中投机执行，而且控制面的作业是可以被内核态抢占的。售卖给用户的产品阿里云系统软件栈计算服务轻量化VMM TinyOS 盘古（存储虚拟化） 虚拟交换机（网络虚拟化） API、监控（控制程序） 硬件驱动程序虚拟机实例虚拟机实例虚拟机实例容器实例1.得益于其他组件的下沉， 系统软件变得非常薄。2.从开销和性能角度看， 都非常接近物理机。3.支持容器实例。硬件资源（网卡、磁盘） 硬件资源（CPU，缓存，内存……） PCIe MOC I/O 服务（采用硬件实现， 旁路系软件栈） 阿里云硬件系统图3-19 　神龙虚拟化架构通过VOS 调度器，虚拟CPU 的调度延迟低到毫秒级；通过ping flood 来测试网络ping 的延时抖动，抖动下降到了百万分之一左右（即ping 一百万个报文只遇到1 个报文延迟的比例比均值明显偏大），抖动比之前的架构下降了两个数量级。在物理机上执行的控制面的作业包括：虚拟机生命周期管理、QEMU 控制线程、写日志、监控执行、包括热升级/ 热迁移在内的运维操作，在VOS 的管理下，正在运行的虚拟CPU 的干扰被控制在一个非常低的水平，虚拟机的计算稳定性大幅提升。2）内存优化：内存分配器VMEM 与用户态QEMU 内存瘦身内存分配器VMEM 是阿里云研发的用于虚拟机内存分配的分配器，可以大幅减少内核维护的内存页表等开销（开销从以前的1.5% 左右下降到0.1% 左右），支持1GB 的大页进一步减少EPT 开销，实现了通过vMCE 对硬件错误的内存页进行隔离。在内存方面，我们通过QEMU 对其进行瘦身，将单个虚拟机的QEMU 进程内存开销降低到5MB 以内，通过全新设计的用户态内存分配器避免了内存碎片，同时对不常用的内存资源进行延迟分配。通过这两种内存优化手段，神龙虚拟化的架构比传统KVM 虚拟化节省了约10% 的内存。3）虚拟化运行加速通过硬件加速虚拟机中的HLT 和MWAIT 指令，使其唤醒延迟与物理机几乎一样。同时将定时器进行硬件虚拟化，在虚拟机中访问定时器不会再触发VMEXIT， 从而提升虚拟机性能。通过这些优化，进程调度性能得到了较大提高，图3-21 的调度延迟实测数据展示的是在某次测试中，调度两百万个进程，并统计每次调度的延迟的结果。可以看到，延迟有15% 的下降。图中的g5.4xlarge 实例是之前的KVM 架构的ECS 虚拟机实例规格，g6.4xlarge 是神龙硬件平台下经过优化的ECS 虚拟机实例规格。4）极速启动为了让虚拟机加速启动，我们对神龙虚拟化架构也做了很多优化。首先是资源的快速分配，包括实现多线程的初始化、虚拟机内存页分配时的批处理化。同时对虚拟机依赖的固件进行裁剪、重构、优化，使虚拟机实现毫秒级加载。我们还对一些特殊的应用场景应用了内部称为vmfork 的技术，让虚拟机能实现秒级的快速复制。5）物理机CPU 全供给虚拟机在传统的KVM 虚拟化架构下，宿主机的CPU 资源是不可能全部供给虚拟机使用的，一般还要预留CPU 核，用于网络虚拟化软件、存储虚拟化软件、管控系统、监控脚本等的计算资源开销。在神龙架构下，网络虚拟化和存储虚拟化都通过硬件虚拟化的方式下沉到一张MOC 卡上，同时管控系统和绝大部分监控脚本都下沉到MOC 卡上运行，这样物理机CPU 资源就可以全部通过虚拟化的方式分配给虚拟机使用。经过评估，通过下沉这部分CPU 开销到MOC 卡上，物理机的CPU 资源利用率能提高10% 左右。

虽然弹性计算的产品种类越来越多，但不同产品的技术架构大同小异。下面以当前最主流的产品形态——云服务器为例，探查其背后的技术秘密。1.4.1　工作原理云服务器通常以虚拟机的方式提供给用户，在创建后被称为“实例”（Instance）。每个实例至少需要一个块存储设备作为系统盘，用来安装操作系统镜像，同时也可以搭载更多的块存储设备作为数据盘。弹性计算一般推荐使用“云盘”形态的虚拟块存储设备，因为它更加可靠和灵活。实例还需要通过虚拟的“弹性网卡”连接到虚拟网络交换机上，从而加入用户的VPC（Virtual Private Cloud，虚拟专有网络）中与外部通信。图1-4 描绘了云服务器的基本构成。云服务器中包括虚拟机、虚拟的“云盘”和虚拟的“弹性网卡”等。很显然， “虚拟化”是云服务器的基础技术，包括计算虚拟化、存储虚拟化和网络虚拟化。虚拟化的基本原理是用软件将物理设备分隔成多个逻辑分片，这些分片提供与物理设备相同的接口和能力，相互不感知，从而实现“虚拟”的设备。这些虚拟设备与物理设备之间是多对一、多对多甚至一对多的关系。正是依靠虚拟化技术，弹性计算才能将物理资源池化，然后按照用户的需求动态地虚拟出大小不一的设备，灵活地提供给用户使用。图1-4 　云服务器的基本构成计算虚拟化技术的核心部件被称为虚拟机管理器（Hypervisor），它实现了对物理服务器的CPU、内存等资源的分片，即把这些资源切分成多份，并将每一份模拟成标准的CPU、内存等设备，变成一台虚拟的服务器，即虚拟机，如图1-5 所示。每一台虚拟机可以运行自己的操作系统，并在逻辑上与运行在同一台物理服务器上的其他虚拟机完全隔离，不能互相访问彼此的数据。Hypervisor 还可以控制每台虚拟机能够使用的物理资源的性能容量，例如CPU 时钟周期、内存大小等，从而实现虚拟机之间的性能隔离。主流的Hypervisor 包括Xen、KVM 等。存储虚拟化采用当前最流行的计算和存储分离的架构，如图1-6 所示，用池化的存储服务器提供虚拟的云盘，而计算服务器上的虚拟机则通过网络来访问这些云盘。1存储虚拟化首先利用软件把多个存储服务器上的存储介质（例如SATA 硬盘或者SSD 盘）联合起来，形成一个巨大的存储资源池；然后把每个云盘需要存储的数据切分成一个个小块，并按照一定的映射规则分散存储到资源池的存储介质中，提升访问性能；最后将每个小块冗余存储在多个独立的物理介质中，实现极高的可靠性。网络虚拟化一般采用SDN（Software Defined Network，软件定义网络）的方式实现，解决云数据中心网络支持多租户同时使用的问题。用户可以在云上创建VPC， 相当于传统的自建数据中心网络，但是其中的网卡、交换机、路由器等网络设备变成了逻辑设备，一般通过软件技术来实现。不同的VPC 之间是完全隔离的，除非经过特殊的互联授权，否则无法互相访问。一个VPC 可以包含一台或多台虚拟网络交换机，每台虚拟网络交换机对应一个网络地址段资源，这些交换机之间通过路由器实现互联互通。而云服务器的网卡在创建时需要指定连接到某台虚拟交换机上，从中分配相应的地址资源，这样该云服务器就可以与同一个VPC 中的其他云服务器进行通信了。网络虚拟化的多租户隔离逻辑可以通过网络的覆盖（Overlay）技术实现，就像在物理网络中构建出了一个个互相隔离的隧道：虚拟机使用虚拟网卡发出的数据包会被重新封装并加上虚拟网络的信息，然后根据虚拟网络的拓扑发送到目标物理服务器上；目标物理服务器在解包后，根据其携带的虚拟网络信息转发给相应的虚 拟机。 　　　　　　   　 图 1-5 　Hypervisor 和虚拟机实例　　　　　　　　图 1-6 　存储虚拟化　1.4.2　总体架构计算、存储和网络的虚拟化技术只是弹性计算整体技术栈的冰山一角。我们可以从一台云服务器的创建过程来探讨一下弹性计算背后的技术，如图 1-7 所示。第 1 章 开 篇 19 1．请求创建示例：用户创建实例的请求会被Open API 层接收。2．分配服务器：该请求被传递给管控系统。管控系统相当于弹性计算的神经系统，需要执行大量的业务逻辑，比如售卖逻辑、约束校验、库存检查等；并在计算服务器的资源池中挑选一台合适的服务器来“安顿”新的虚拟机实例，这个决策是由一个高度复杂的调度子系统来完成的。3．创建实例：管控系统正式发起新实例的创建，将命令发送给计算虚拟化、存储虚拟化和网络虚拟化的管控子系统。4．资源虚拟化：网络资源和云盘创建就绪后，被选中的服务器上的Hypervisor 创建虚拟机，挂载云盘，同时创建一张弹性网卡将该虚拟机接入指定的VPC 中。至此，这台云服务器实例就创建好了。图1-7  　一台云服务器的创建过程创建只是虚拟机生命周期中的一小步，之后的运行、重启、迁移、变配、运维等数十种操作，无不依赖弹性计算背后所集成的大量技术。图 1-8 描绘了弹性计算的整体技术架构。下面就以控制面和数据面两个切面来展开介绍，引出其中的关键技术。1.4.3　控制面弹性计算的控制面管理着每个实例的生命周期，它暴露给用户的接触面通常包含Open API 及基于API 构建的Web 控制台和CLI 命令行工具，除简单的管控操作外， 还支持实例的迁移、部署、运维和伸缩等。用户可以通过直接使用这些工具或者第三方生态包装过的工具来管理其所购买的实例。在用户可见的管理界面和工具的背后，是弹性计算的核心管控技术，实现了实20 例生命周期管理、资源调度、库存闭环和主动运维等，对弹性计算的性能提升至关重要，特别是弹性、成本和稳定性。控制面数据面用户DevOps 第三方生态工具用户应用客户机操作系统 Open API,Web控制台＆CLI 管理工具计算产品弹性售卖弹性伸缩弹性编排运维自动化弹性裸金属虚拟机弹性容器实例专有宿主机管控技术虚拟化/安全沙箱技术实例生命周期管理资源调度库存闭环主动运维 计算虚拟化 网络虚拟化 存储虚拟化安全沙箱物理设施层芯片服务器物理网络数据中心图 1-8 　弹性计算的整体技术架构下面列举弹性计算在控制面上的关键技术。1）弹性伸缩技术。弹性伸缩技术允许用户配置触发的伸或者缩的规则，例如基于时间的规则、基于性能指标的规则等。预测式伸缩技术是利用机器学习来发现用户应用的负载变化规律、预测未来走势，并根据这个走势提前调整计算资源的规模，从而将弹性伸缩技术从自动化演进到智能化。2）库存闭环技术。弹性是一种供应能力，云服务提供商如何做到让用户无限索取的同时保证自身库存成本最优，是一件极具挑战的事情。库存闭环技术通过打通资源的售卖、跟踪、分析、预测、下单、生产、提货、上架、部署、上线等整条链路的闭环，以及自动化的产品转换、跨IDC 产品平衡等库存调配，建立数据化、可视化、自动化、智能化和精细化的库存管理体系，从而提升资源利用率和弹性保障能力。3）资源调度技术。资源调度技术旨在分配合适的服务器给用户提供所需的计算或存储资源，而且这种分配可以随着变化来动态调整，以保障用户应用的高可用性和稳定性。弹性计算的服务器资源池通常包含很多版本和种类均不同的服务器，而产品规格也多达上百种，再加上用户的实际工作负载特征各异，如重CPU、重存储 I/O、第 1 章 开 篇 21 重网络等，有些负载持续稳定，而有些负载规律波动。资源调度技术通过一次在线调度和二次离线调度，可达到避免争抢、减少闲置、缩小宕机影响面的目的，让整个系统在性能、成本和稳定性上达到平衡。4）异常检测和预测技术。硬件的故障和软件的缺陷是不可避免的，通过对异常的检测和预测，实现及时补救，可以大大降低甚至避免故障带来的影响，从而提高弹性计算产品的稳定性，特别是可用性。异常检测，首先需要识别故障相关的关键指标，然后依托于精细、实时的监控和分析技术，及时发现异常，从而触发系统快速做出反应。而异常预测，则通过启发式规则、机器学习等技术，基于监控数据提前预知和规避可能的故障。阿里云弹性计算云服务器产品的单实例可用性能达到99.975%， 异常检测和预测技术功不可没。5）热迁移技术。热迁移技术能把一台运行中的实例或云盘从一个物理位置转移到另一个物理位置，同时不影响其运行，是支持库存优化、故障规避、轮转升级等场景的关键技术。它的难度堪比给飞行中的飞机更换引擎。热迁移实现的基本原理是把实例的状态从源服务器拷贝到目标服务器，由于在拷贝过程中实例的状态还在不断变化，所以在做最后的切换时需要暂停实例，并把新产生的变化再同步一次， 然后完成切换，唤醒实例继续运行。热迁移云盘的做法与之类似，Post-copy 这种方式更好。无论哪种方式，降低对运行中的实例的性能影响，甚至做到“无感”都是重大挑战。1.4.4　数据面弹性计算的数据面直接支撑着用户应用的运行，它暴露给用户的标准接口是 x86 服务器及其上运行的客户机操作系统（Guest OS）。这里有弹性裸金属服务器、虚拟机和弹性容器三种产品形态上的选择，而专有宿主机则给了用户独占物理服务器来运行虚拟机或容器实例的选项。实现这些产品形态的核心技术是虚拟化技术；随着云原生应用的蓬勃发展，更轻量的安全沙箱技术也正变得日益重要。下面列举弹性计算在数据面上的关键技术。 1）客户机操作系统。客户机操作系统是弹性计算数据面上的主要接口，为用户的应用提供标准化的运行环境。弹性计算一般提供主流操作系统的镜像，其中包含适配底层的虚拟化和物理硬件所做的定制和优化。为了让这些定制和优化更加极致地为用户提供卓越的性能和体验，领先的云服务提供商都会推出自己的操作系统发行版，例如阿里云就推出了Aliyun Linux。通过剪裁不必要的功能、模块和软件，针22 对自身的物理硬件和虚拟化技术做定向的优化，再搭载其特有的增值能力，例如安全加固和可服务性提升工具，Aliyun Linux 已成为阿里云弹性计算技术栈上重要的一环。2）软硬一体的虚拟化平台。虚拟化是弹性计算数据面上的核心技术，经历了几代技术变迁，最新一代已经演进到了软硬一体的虚拟化平台，例如阿里云的神龙计算平台。该技术通过专用的硬件将原来在物理机上运行的网络、存储、管控等负载，完全下沉到定制的计算节点上并进行硬件加速，性能更好；而主机侧运行高度定制和“瘦身”的QEMU 及KVM 的虚拟机管理程序，使得物理机上的资源可以最大限度地被释放并用于售卖。3）异构资源虚拟化。异构计算加速是近年来的热点技术之一，被认为是处理多媒体、大数据和机器学习的利器，目前主要形态包括 GPU、FPGA 和 NPU 等。早期的异构计算走硬件直通的路线，随着 GPU SR-IOV 虚拟化和分片虚拟化技术的支持， vGPU 已经成为现实。FPGA 虚拟化技术更加复杂，不仅依赖 CPU 和系统软件虚拟化， 还依赖 FPGA 的逻辑编程硬件抽象接口 Shell 实现硬件虚拟化的能力。而实现这些异构计算能力的池化是未来的重要技术发展方向，可进一步提高异构资源部署的灵活性和利用率。4）超高速云盘。云盘是云服务器常用的块存储设备形态，具备高可用、高持久、易运维、使用灵活等诸多优点。如何让云盘具备可以与本地盘媲美的高吞吐和低延时，则颇具挑战。例如阿里云的 ESSD 云盘基于计算和存储分离架构，存储端使用自研的分布式文件存储系统，而计算端采用多线程多队列轮询（Polling）， VHost-User 新一代 I/O 虚拟化，软硬一体化的高性能用户态网络协议栈服务等机制， 实现了超高 IOPS 、超低时延的云盘，为 I/O 密集型应用提供了一个更好的选择。5）VPC 网络虚拟化。VPC 相当于一套虚拟的数据中心网络。如何实现同时具备强隔离、高性能、高可用和可扩展的虚拟网络，是一项巨大的技术挑战。以阿里云自研的洛神系统（注：虚拟网络管理系统）为例，其控制面具备超大规模虚拟网络管理能力，用户通过 API 能够进行网络实时变配，秒级响应业务流量的弹性伸缩；洛神系统的数据面基于软硬件协同技术，具备高吞吐、低延迟的特点，使得云服务器的网络性能能够与物理机相媲美。另外，洛神系统基于数据驱动的管理平面能够自动分析和定位链路故障，通过冗余链路实施秒级容灾切换，在网络可用性指标上相比物理机具有更大优势。6）轻量级安全沙箱。轻量级安全沙箱为云原生应用而生，启动快、资源占用少， 且安全隔离性好，是运行在容器上的应用的最佳选择。目前社区中存在多种技术路线，例如基于 Kata Containers 的 Micro VM 方案、基于进程虚拟化的 gVisor 方案，以及基于 Unikernel 的方案。阿里云的弹性容器实例就是运行在自研安全沙箱中的。这项技术充分利用了虚拟化层的技术和能力，并可对垂直业务场景实现端到端优化，是阿里云面向云原生时代的关键基础技术。1.4.5　物理设施层弹性计算依赖大量物理设施和硬件，包括物理网络、数据中心、芯片和服务器 等，每一个领域都涉及众多关键技术，例如物理网络中的自研交换机和网络协议，数据中心的选址、整机柜设计、弹性功耗调度、液冷，芯片中的厂商定制、自研芯片， 服务器中的自研L6 设计等，因为不是本书的重点，所以不再展开。有兴趣的读者可以阅读阿里巴巴集团编写的《企业数字化基石——阿里巴巴云计算基础设施实践》一书，该书对物理设施层的技术做了非常详尽的介绍。

弹性计算是对传统IT 基础设施的颠覆，提供了一种全新的计算力供给方式，大大降低了计算力的使用门槛，成为普惠大众的又一种“能源”。相比传统IT，弹性计算更加稳定、可靠、安全，性能更好，使用效率更高，而且更加便宜！弹性计算能覆盖非常广泛的计算场景，几乎可以替代所有线下服务器，特别适用于互联网服务、海量计算和储存，以及有流量短时高峰的应用等。计算虚拟化、存储虚拟化和网络虚拟化是弹性计算技术的基石。作为现代数字社会的基础设施，弹性计算的战略重要性尤为凸显，而我国在这个领域并不落后，本书后续将继续向读者阐述和展示相关 技术。

虚拟化概念可理解为：使用基于软件的从物理实体元素抽象分离而来的虚拟存在的系统。虚拟化技术是对物理实体的一种补充，针对不同的资源，有着不同的虚拟化技术，大致分为四类：内存虚拟化、网络虚拟化、服务器虚拟化、存储虚拟化（1）内存虚拟化：是指利用虚拟化技术实现计算机内存系统对内存的管理。内存虚拟化的作用更多的是满足对内存的分配，对必要的数据进行交换 （2）存储虚拟化：主要是将存储资源进行逻辑视图和物理存储分离，将内部存储资源分配存储池的存储容量。 （3）网络虚拟化：网络虚拟化是利用软件从物理网络元素中分离网络力量的一种方式，网络设备和服务器不同，一般需要执行高I/O任务，对于数据处理往往依赖专有的硬件模块。 （4）服务器虚拟化：利用服务器虚拟化，可以将服务器的CPU、内存、磁盘等硬件集中管理，通过集中式的动态按需分配，可以提供资源的利用率。

虚拟化技术的分类主要有服务器虚拟化、存储虚拟化、网络虚拟化、应用虚拟化。服务器虚拟化技术按照虚拟对象来分，可分为：CPU虚拟化、内存虚拟化、I/O虚拟化；按照虚拟化程度可分为：全虚拟化、半虚拟化、硬件辅助虚拟化。将不同的虚拟化对象和程度组合，可得出9种不同的服务器虚拟化技术。首先详细介绍下服务器虚拟化之CPU虚拟化，后续讲解中再详细介绍内存虚拟化及I/O虚拟化。　　二、CPU虚拟化　　·CPU全虚拟化技术　　主要采用优先级压缩技术（Ring Compression）和 二进制代码翻译技术（Binary Translation）。优先级压缩技术让VMM和Guest 运行在不同的特权级下。　　对X86架构而言，即VMM运行在最高特权级别Ring 0下，Guest OS 运行在Ring 1 下，用户应用运行在Ring 3下。因此 Guest OS 的核心指令无法直接下达　　到计算机系统硬件执行，而是需要经过 VMM 的捕获和模拟执行（部分难以虚拟化的指令需要通过 Binary Translation技术进行转换）。　　　　·CPU半虚拟化技术　　主要采用Hypercall 技术。Guest OS 的部分代码被改变，从而使Guest OS会将和特权指令相关的操作都转换为发给VMM的Hypercall（超级调用），由VMM继续进行处理。而Hypercall支持的批处理和异步这两种优化方式，使得通过Hypercall 能得到近似于物理机的速度。　　　　·CPU硬件辅助虚拟化技术　　目前主要有Intel 的VT-x和AMD的AMD-V这两种技术。其核心思想都是通过引入新的指令和运行模式，使VMM和Guest OS分别运行在不同模式（ROOT 模式和非ROOT模式）下，且Guest OS 运行在Ring 0 下。通常情况下，Guest OS 的核心指令可以直接下达到计算机系统硬件执行，而不需要经过VMM。当Guest OS执行到特殊指令的时候，系统会切换到VMM，让VMM来处理特殊指令。　　　　CPU的虚拟化技术可以单CPU模拟多CPU并行，允许一个平台同时运行多个操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，　　从而显著提高计算机的工作效率。　　　　GuestOS负责第2级调度，即线程或进程在VCPU上的调度（将核心线程映射到相应的虚拟CPU上。）　　VMM（Virtual Machine Monitor）负责第1级调度，即VCPU在物理处理单元上的调度。　　两级调度的调度策略和机制不存在依赖关系。VMM负责物理处理器资源在各个虚拟机之间的分配和调度，本质上即把各个虚拟机中的VCPU按照一定的策略和机制调度在物理处理单元上，可以采用任意的策略来分配物理资源，满足虚拟机的不同需求。关注“传知摩尔狮”公众号，免费领取云计算入门课程~

快速恢复到任意时间点在动漫哆啦A梦里，有两个让人记忆犹新的神奇法宝：可以直接到达目的地的任意门，和回到过去任何时间的时光机。动漫中的法宝与这篇介绍数据库备份的技术文章有什么关系呢？仔细琢磨一下，在数据库备份领域，这两点不恰好用户梦寐以求的两项功能吗：快速恢复（数据立即可用）：对于构建高可用的在线服务意义重大。一旦在线服务的数据库故障，用户希望尽可能快速的恢复新的数据库。当然在数据备份领域，有专门衡量恢复速度的指标RTO（Recovery Time Objective)，指从开始恢复到完成恢复的时长。恢复到任意时间点：意义在于数据管理的健壮性。由于代码bug或人工误操作产生的脏数据，是无法通过恢复最新数据修正的，必须恢复到历史时间点，或根据历史时间点的数据进行在线数据订正。通常恢复的数据所对应的历史时刻，与期望恢复的时刻是有时差的，数据备份领域为了衡量这个时差的大小，也有对应的衡量指标是RPO（Recovery Point Objective）。狭义的RPO指可恢复时间点与当前时间的时差，而本文探讨的广义RPO概念，是指可恢复时间点与任意历史时间点（包含当前时间）的时差。正如哆啦A梦需要用两个不同的法宝，分别实现两种不同的目标。数据备份系统，             通常会使用不同的技术方案分别实现低RTO或低RPO，而难以两者兼得，即很难做到恢复到任意时间点并立即可用。我们以阿里云数据库RDS为例：RDS灾备实例：这项功能基于日志实时同步技术，实现多个RDS实例之间的实时同步。当原实例发生故障，业务都可以快速切换使用灾备实例，这就体现了“恢复数据立即可用”，即低RTO。然而灾备实例只能提供当前时间点的灾备恢复，无法回滚数据到过去任意时间点。当用户原实例写入了脏数据，或执行了误操作，灾备实例的数据也会同步引入了脏数据和误操作结果。因此RDS的灾备实例功能，无法做到指定任意时间点的低RPO。另外灾备实例需要用户承担两个RDS的成本，通常成本远高于仅存储备份数据的方案，这也成为用户采用该方案的顾虑之一。RDS备份恢复：这项功能基于数据库的冷备份和日志备份技术，通过备份数据恢复以及日志回放，实现创建一个过去任意时间点的实例（也成为RDS克隆实例），这恰好符合“恢复到任意时间点”（低RPO）的需求。然而RDS备份恢复功能并不是立即可用的，与灾备实例相比，RDS恢复功能产生的克隆实例是按需创建的，从备份数据到克隆实例的数据，需要有较长时间的数据拷贝和日志回放过程。因此RDS备份恢复功能，无法做到恢复到任意时间点的低RTO。有没有一种解决方案能够同时解决RTO和RPO问题呢？2021年云数据库RDS和数据库备份DBS产品，针对这一痛点，联合发布了一项的新的备份恢复功能——应急恢复。该功能在原有的RDS备份恢复功能基础上，结合了基于CDM（Copy Data Management）技术的DBS沙箱功能，赋予用户同时使用任意门和时光机的能力，即分钟级快速恢复生成一个任意时间点的新数据库实例。这项功能的入口在“RDS控制台-实例列表-备份恢复-应急恢复”前端标签下可以找到。用户同样也能使用DBS控制台的导入数据源和沙箱实例功能完成相同功能的配置。使用RDS应急恢复（DBS沙箱）功能开启应急恢复功能在RDS控制台，打开实例的管理页面，选择“备份恢复”标签中的“应急恢复”标签。点击“开启/管理DBS应急恢复”接下来会跳转到DBS控制台，如果该RDS实例没有开启应急恢复功能，则会显示以下引导页面。其中前2个步骤是自动完成的，需要最多等待1分钟完成，第3步用户可选择付费模式（目前只有容量版可选）和保留天数。点击“确认”后，应急恢复功能就开启成功了。之后页面会跳转到DBS控制台的“备份任务配置页面”，如果页面提示沙箱状态为“已开启”，表示已开启成功。注意，第一次开启RDS应急恢复（DBS沙箱）功能后，DBS还会有一段时间的数据准备过程。当准备过程结束，该页面的沙箱实例范围栏会提示可恢复的时间范围。创建RDS应急实例在RDS控制台应急恢复标签下，点击“创建应急实例（DBS沙箱实例）”按钮，页面会跳转到如下DBS控制台的创建沙箱实例页面。在该页面，首先选择恢复时间点（第一次开启后默认可选时间范围，为最近一次RDS备份时间到当前时间）。然后选择创建沙箱的规格、地域、专有网络，以及虚拟交换机（这些选项是为了生成打通到用户专有网络的沙箱实例IP），接下来就可以点击立即恢复。接下来页面会跳转到DBS控制台的沙箱实例页面，用户可以看到刚创建的沙箱实例。沙箱实例的初始状态为“创建中”，大约1-2分钟后状态会变为“运行中”，同时会生成沙箱实例的地址（对于RDS MySQL应急实例为用户专有网络IP和3306端口），以及连接到该实例的DMS链接。用户可选择自行连接到沙箱实例，或通过DMS服务白屏化管理实例。关于创建应急（沙箱）实例，需要注意几点：沙箱实例“创建中”状态的持续时间，可能还与RDS原实例的日志量有关。最坏情况下，最大可能会增加10分钟的创建时间。沙箱实例的账号与RDS原实例完全相同，包括客户端白名单。沙箱实例是可写的，写入的数据不影响原实例，删除沙箱实例后，写入沙箱实例的数据都会丢失。应用场景RDS应急恢复（DBS沙箱）功能，相对原有的RDS备份恢复功能，优势在于能够更快生成一个历史时间点的实例。不过在性能、SLA和平台管理能力方面，应急实例都弱于RDS实例（当然计费比RDS实例也更低）。因此应急实例并不适合替代RDS实例作为用户的生产实例。综合以上的优缺点，我们认为应急实例适合以下几种场景：开发测试：许多企业的集成测试，依赖真实的在线数据内容和数据量。面向开发者的高效开发测试平台，对测试速度和即时性的要求很高，对于测试数据库，通常要求实例立即可用，并且多个测试用例能够并发且互不干扰的访问。RDS应急实例就非常满足以上需求，用户可以快速创建多个应急（沙箱）实例，甚至可以通过OpenAPI集成到自己的CI/CD系统，搭建面向线上数据的高性能测试服务。脏数据订正：运维误操作或程序bug，都可能导致用户的生产库实例写入了脏数据，通常这类错误可以被快速发现，但如何订正脏数据，成为了许多企业运维人员最头疼和不想面对的难题。此时运维人员最希望获得的帮助，就是立即有一个状态在误操作或程序bug触发前的数据库实例，作为在线实例的对照，从而通过数据对比来进行脏数据订正。RDS应急恢复例在这一场景就是解决痛点问题的最好方案。历史分析：企业的历史数据分析通常比较复杂，常用的解决方案是将数据库数据导入到离线数据仓库后分析。但对于简单的历史数据报表分析，例如单实例上的SQL查询能够搞定的简单报表，用户可以用应急（沙箱）实例替代数据仓库，不仅技术难度更低，而且成本也会明显下降。注意以上这些场景中，应急（沙箱）实例仅仅提供了最核心的一个环节，即快速恢复历史数据，并没有解决所有环节的问题。以脏数据订正场景为例，完整的解决方案需要包括数据的对比、数据轨迹查询、生成并订正数据等多个能力。DBS产品今年将主力打造这类基于应急恢复（沙箱）功能的场景化解决方案。了解DBS沙箱背后的技术全量、增量和日志备份，与RTO/RPO的关系主流的数据库，例如MySQL、SQL Server、Oralce，其物理备份方案都可分为三种类型：全量备份、增量备份、日志备份三种类型。他们各自的原理、开销和对RPO影响各部相同，总结如下。全量备份增量备份日志备份依赖无全量备份全量备份拷贝对象全部物理文件较上次备份物理文件差异数据库日志（例如MySQL binlog）资源开销一次性高开销一次性低开销持续低开销对源库影响产生锁阻塞产生锁阻塞无阻塞对RPO影响天级小时/分钟级秒级全量备份和增量备份，产生的RPO与备份周期有关。考虑备份开销等因素，用户通常会每天或每周进行一次全量备份，或每小时或数十分钟进行一次增量备份。日志备份由于是持续运行，因此可以直接将RPO降低到秒级。当这三种备份类型组合起来，整体的RPO等于每种备份RPO的最小值。因此我们可以得到第一个结论如果需要RPO降低到秒级，那么必须包含日志备份（因为依赖关系，也需要全量备份）我们接下来分析备份类型与RTO的关系。通常备份数据需要经过数据拷贝，才能会恢复给目标实例使用。考虑1T的全量数据，以100MBps的速度拷贝，那么拷贝的时间将长达3个多小时，也就意味着RTO也会大于3小时。CDM/存储虚拟化技术为解决这个问题提供了全新的思路，通过将备份数据转换为快照，可以使得无论多大的备份数据量，都能在分钟或秒级时间内，完成克隆和远程挂载，即将总体RTO降低到了秒级或分钟级。然而日志备份无法转换成快照，因此如果需要同时实现分钟/秒级的RPO和RTO，需要将日志回放的时间也考虑进去。也就是说总体RTO等于基于CDM技术的秒/分钟级RPO与日志回放RPO之和。首先，日志回放的时间与回放的数据量成正比；另一方面，全量和增量备份频率越高，那么快照频率越高，日志回放的数据量越小。第三，因为增量备份的开销远小于全量备份，因此需要尽可能使用增量备份而不是全量备份。如果需要RTO和RPO同时降低到秒/分钟级，那么必须使用CDM/存储虚拟化技术如果同时还需要降低源库的开销，那么必须使用高频的增量备份和低频的全量备份相结合接下来我们会继续解读以下2个关键技术点存储虚拟化高频增量备份存储虚拟化技术存储虚拟化技术，是解决备份数据到二级数据库的拷贝问题的关键技术，也是业界各种CDM解决方案必不可少的技术点。秒级快照和克隆，是存储虚拟化技术的核心能力。将存储虚拟化技术运用到数据库备份，分为2个阶段：生成只读快照：对于同一个生产库产生的不同时间的备份集，使用存储虚拟化技术的备份系统，不再将这些备份集区分在不同文件路径存储，而是按时间覆盖备份数据，每当完成新数据的写入覆盖，则创建一个新的快照。产生新的快照并写入数据，不会触发数据拷贝，因此新旧快照之间的重复数据是共享的。生成可写克隆：当备份系统需要从一个备份集恢复数据时，需要选择一个快照，然后创建基于该快照的克隆。克隆是可写的，对克隆的写入不会影响已创建的快照数据，也不会影响其他克隆的数据。业界领先的存储系统实现快照和克隆能力，主要的理论基础都是CoW(Copy-on-Write)和RoW(Redirect-on-Write)，这两种设计各有利弊，工业界也有不少对这两项技术的改进实现，本文不展开论述。阿里云DBS产品针对不同的场景，综合采用了CoW和RoW两种的存储解决方案。高频增量备份技术数据库高频增量备份，主要关注的问题是两个开销：磁盘IO开销：扫描数据文件差异造成的磁盘IO，为了降低IO开销，数据库通常会引入CBT(Changed Bock Tracking)技术。实例加锁开销：PIT（point-in-time）拷贝通常需要对数据库实例加一定粒度的锁。本文主要讨论的是RDS/MySQL实例的快速恢复，因此我们将焦点放到如何实现MySQL的CBT和无锁PIT拷贝。与SQL Server和Oracle这些商业数据库不同，MySQL作为开源数据，在CBT和无锁PIT方面，缺乏操作系统或数据库引擎层面的支持。在CBT方面，开源MySQL都没有CBT功能，获取innodb的数据文件增量，必须扫描所有文件中的块信息。使用过xtrabackup增量备份的朋友应该都发现了这个问题，虽然一次增量备份产生的数据量远小于全量备份，但备份过程产生的磁盘IO却与全量备份相当。而xtrabackup工具的发布厂商Percona，针对这个问题在它发布的商用版本（Percona Server）中为InnoDB引擎加入了CBT功能，从而可以大幅降低增量扫描IO开销。那么问题来了，对于非Percona版本的MySQL，如何解决这个问题呢？MySQL 5.XMySQL 8.0MySQL(Percona)SQL ServerOracleCBT不支持不支持支持VSSRMANPIT拷贝锁FTRWL锁BACKUP锁同开源MySQL版本VSSRMANDBS提供的备份工具针对开源MySQL/InnoDB不支持CBT功能的现状，推出了基于MySQL redolog的旁路CBT方案。帮助用户物理用哪个MySQL版本，都能够将增量备份的磁盘IO开销控制在很低范围。在PIT拷贝锁方面，MySQL 5.X版本在拷贝Schema数据过程中会加FTRWL锁，阻塞所有DML和DDL操作。而MySQL 8.0版本在拷贝Schema数据过程中会加Backup锁，相比5.X版本的FTRWL锁粒度变轻了，只会阻塞部分的DDL操作，但仍然对源数据库实例上的业务可能产生影响。DBS提供的备份工具，引入了无锁PIT拷贝的技术，完全避免了数据库锁对业务的影响。欢迎加入钉钉群一起讨论交流，也欢迎加入DBS团队，简历发送到cuiyun.fcy@alibaba-inc.com