开发者社区> 问答> 正文

阿里云虚拟化热升级技术里的三个关键的技术点是什么?

已解决

阿里云虚拟化热升级技术里的三个关键的技术点是什么?

展开
收起
阿阿里云 2022-04-05 09:29:22 664 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    (1)双 KVM 内核模块 以 Intel 硬件平台下的 KVM 为例,普通的 KVM 架构有一个与架构无关的 kvm.ko 模块,还有一个管理 Intel 硬件虚拟化的 kvm-intel.ko 模块。在热升级框架下,我们做了 kvm-intel-0.ko 和 kvm-Intel-1.ko 两个模块,以便实现 KVM 模块的热升级, 如图 3-7 所示。我们尽可能地将 kvm.ko 模块中多数的功能都移到 kvm-intel-0.ko 模块中,让 kvm.ko 模块尽可能“薄”。在一般情况下,它不需要热升级,只需要升级架构相关的 kvm-intel.ko 模块即可。当我们加载 kvm-intel-0.ko、kvm-intel-1.ko 模块时,会创建相应的 /dev/kvm0、/dev/kvm1 等设备节点文件,用于 QEMU 与 KVM 内核模块 的交互。

    (2)虚拟机嫁接 在 KVM 上,一个 QEMU 进程代表一个虚拟机。虚拟机包括内存、虚拟 CPU、存储、网卡等,都是由 QEMU 进程来分配和管理的。将一个虚拟机从前面提到的 kvm0 迁移到 kvm1 上,本来可以使用本地热迁移技术,不过这样就需要两份相同大 小的虚拟机内存,对于内存数量很大的虚拟机而言,会浪费不少内存资源。在阿里云虚拟化热升级技术中,通过“虚拟机嫁接”将虚拟机的内存和内部状态从一个 KVM 实例嫁接到另一个 KVM 实例之上,如图 3-8 所示。我们先将虚拟机的内存标为 reserved 状态,然后派生一个新的 QEMU 子进程,调用 QEMU 中的 savevm_state 函 数保存原来虚拟机的内部状态并暂停虚拟机运行,之后在新的 QEMU 子进程中调用 execve() 函数加载升级后的 QEMU 程序文件,并通过 loadvm_state 函数恢复虚拟机的状态。在这个过程中,但凡有任何的失败,系统都会让最初暂停的 QEMU 进程重 新恢复原来的状态。在具体实现中,需要让新的 QEMU 进程在 execve() 函数执行后,能够保留原虚拟机的内存。由于在默认情况下 execve() 函数并不支持内存的保留,所以我们在宿主机的 Linux 内核中对 mmap 函数进行了简单的改造,添加了 MAP_ KVM_RESERVED 这样一个专用于QEMU/KVM 热升级的标志。

    (3)直通设备移交 大型的云服务提供商有不少的计算服务通过将 GPU 或 FPGA 设备直通给虚拟机,来加速用户的诸如深度学习、人工智能相关的应用程序。使用 Intel VT-d 技术实现设备直通,可让虚拟机直接访问硬件设备。现代设备的访问都是由 DMA(直接内 存访问)来完成的,在虚拟化直通设备的情况下,DMA 访问所需的从 GPA(虚拟机 物理地址)到 HPA(物理机物理地址)的转化,是由 IOMMU 来实现的。如果实现 带有直通设备的虚拟机的热升级,那么需要迁移设备的内部状态,重建 IOMMU 重映射表,保存和恢复正在进行的 DMA 操作以免造成数据丢失。这是比较复杂的情况,而且没有现成框架可以使用。

    《弹性计算:无处不在的算力》电子书可以通过以下链接下载:https://developer.aliyun.com/topic/download?id=7996"

    2022-04-05 10:11:28
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
虚拟化异构计算产品发布 立即下载
基于虚拟化的CI CD流程与基础架构建设 立即下载
移动虚拟化:360分身大师那些事 立即下载