阿里云虚拟化热升级技术里的三个关键的技术点是什么？

(1)双 KVM 内核模块 以 Intel 硬件平台下的 KVM 为例，普通的 KVM 架构有一个与架构无关的 kvm.ko 模块，还有一个管理 Intel 硬件虚拟化的 kvm-intel.ko 模块。在热升级框架下，我们做了 kvm-intel-0.ko 和 kvm-Intel-1.ko 两个模块，以便实现 KVM 模块的热升级， 如图 3-7 所示。我们尽可能地将 kvm.ko 模块中多数的功能都移到 kvm-intel-0.ko 模块中，让 kvm.ko 模块尽可能“薄”。在一般情况下，它不需要热升级，只需要升级架构相关的 kvm-intel.ko 模块即可。当我们加载 kvm-intel-0.ko、kvm-intel-1.ko 模块时，会创建相应的 /dev/kvm0、/dev/kvm1 等设备节点文件，用于 QEMU 与 KVM 内核模块 的交互。

(2)虚拟机嫁接 在 KVM 上，一个 QEMU 进程代表一个虚拟机。虚拟机包括内存、虚拟 CPU、存储、网卡等，都是由 QEMU 进程来分配和管理的。将一个虚拟机从前面提到的 kvm0 迁移到 kvm1 上，本来可以使用本地热迁移技术，不过这样就需要两份相同大 小的虚拟机内存，对于内存数量很大的虚拟机而言，会浪费不少内存资源。在阿里云虚拟化热升级技术中，通过“虚拟机嫁接”将虚拟机的内存和内部状态从一个 KVM 实例嫁接到另一个 KVM 实例之上，如图 3-8 所示。我们先将虚拟机的内存标为 reserved 状态，然后派生一个新的 QEMU 子进程，调用 QEMU 中的 savevm_state 函 数保存原来虚拟机的内部状态并暂停虚拟机运行，之后在新的 QEMU 子进程中调用 execve() 函数加载升级后的 QEMU 程序文件，并通过 loadvm_state 函数恢复虚拟机的状态。在这个过程中，但凡有任何的失败，系统都会让最初暂停的 QEMU 进程重 新恢复原来的状态。在具体实现中，需要让新的 QEMU 进程在 execve() 函数执行后，能够保留原虚拟机的内存。由于在默认情况下 execve() 函数并不支持内存的保留，所以我们在宿主机的 Linux 内核中对 mmap 函数进行了简单的改造，添加了 MAP_ KVM_RESERVED 这样一个专用于QEMU/KVM 热升级的标志。

(3)直通设备移交 大型的云服务提供商有不少的计算服务通过将 GPU 或 FPGA 设备直通给虚拟机，来加速用户的诸如深度学习、人工智能相关的应用程序。使用 Intel VT-d 技术实现设备直通，可让虚拟机直接访问硬件设备。现代设备的访问都是由 DMA(直接内 存访问)来完成的，在虚拟化直通设备的情况下，DMA 访问所需的从 GPA(虚拟机 物理地址)到 HPA(物理机物理地址)的转化，是由 IOMMU 来实现的。如果实现 带有直通设备的虚拟机的热升级，那么需要迁移设备的内部状态，重建 IOMMU 重映射表，保存和恢复正在进行的 DMA 操作以免造成数据丢失。这是比较复杂的情况，而且没有现成框架可以使用。

《弹性计算：无处不在的算力》电子书可以通过以下链接下载：https://developer.aliyun.com/topic/download?id=7996"