关于云平台虚拟机核心组件 libvirt 热迁移流程及关键参数介绍 | 龙蜥技术

简介: 一键了解libvirt虚拟机热迁移整体流程,迁移方式及关键迁移参数作用及影响。

编者按:libvirt 是用于管理虚拟机的开源项目,是各大基于 OpenStack 二次开发的云平台管理底层 qemu-kvm 虚拟机的核心组件,而热迁移作为虚拟机管理中较为常用的功能,其在稳定性和效率关乎云平台的整体使用体验。今天,浪潮数据云计算高级研发工程师李世东带大家了解虚拟机热迁移在 libvirt 项目中的主要流程及迁移参数作用和影响。本文整理自龙蜥大讲堂 81 期,以下为本次分享内容:

01 热迁移基本原理

1.1 热迁移概念

热迁移也叫在线迁移,是指虚拟机在开机状态下,且不影响虚拟机内部业务正常运行的情况下,从一台宿主机迁移到另外一台宿主机上的过程。

1.2 虚拟机数据传输预拷贝和后拷贝

预拷贝(pre-copy):

原理:

1)将全部内存数据拷贝到目标节点。

2)循环的将源节点虚拟机运行时产生的内存脏页拷贝到目标节点虚拟机。

3)源节点虚拟机停机,启动目标节点虚拟机完成迁移。

优点:可靠性高,迁移过程中对业务影响小。

缺点:网络开销大,迁移时间长,内存读写频繁时可能迁移失败。

后拷贝(post-copy):

原理

1)将源节点虚拟机 CPU 状态、寄存器状态、non-pageable 内存页拷贝到目标节点。

2)启动目标节点虚拟机,动态地传输剩余内存。

3)目标节点虚拟机访问到未拷贝内存页时,触发 pagefault,需要到源节点读取对应 page。

优点:网络开销低、停机时间短。

缺点:迁移稳定性差,迁移过程中虚拟机性能下降,网络延迟高时,对业务影响大。

02 热迁移参数

下表列出了 libvirt 支持的迁移 flag、值及其具体含义:

flag 说明
VIR_MIGRATE_LIVE 1 << 0 在线迁移,迁移过程中不停机,注意如果内存改变速度持续大于传输速度,迁移过程无法收敛,在迁移过程中可以手动暂停(pause)虚拟机。
VIR_MIGRATE_PEER2PEER 1 << 1 迁移由源节点libvirt主导,直接与目标节点libvirtd建立连接并控制迁移过程。
VIR_MIGRATE_TUNNELLED 1 << 2 通过隧道传输迁移数据,只有当VIR_MIGRATE_PEER2PEER设置时才生效。
VIR_MIGRATE_PERSIST_DEST 1 << 3 迁移完成后,在目标节点持久化虚拟机。
VIR_MIGRATE_UNDEFINE_SOURCE 1 << 4 迁移成功完成后在源主机上删除虚拟机。
VIR_MIGRATE_PAUSED 1 << 5 在目标节点挂起虚拟机,必须显式调用resume虚拟机。
VIR_MIGRATE_NON_SHARED_DISK 1 << 6 迁移过程中全量拷贝非共享存储。
VIR_MIGRATE_NON_SHARED_INC 1 << 7 迁移过程中增量拷贝非共享存储。
VIR_MIGRATE_CHANGE_PROTECTION 1 << 8 迁移过程中改变对虚拟机的保护策略,当迁移双方都支持时,该参数被自动设置。如果显式指定该参数但其中一方不支持时,将导致迁移失败。
VIR_MIGRATE_UNSAFE 1 << 9 忽略潜在的数据损坏风险,对于QEMU虚拟机,当没有显式设置缓存模式为‘none’时,迁移被认为是不安全的。
VIR_MIGRATE_OFFLINE 1 << 10 在目标节点不启动虚拟机,同时在源节点不停止虚拟机,需要设置VIR_MIGRATE_PERSIST_DEST才能使该标志生效,该标志会导致disk storage和基于文件的存储不会被迁移。
VIR_MIGRATE_COMPRESSED 1 << 11 开启迁移数据压缩。
VIR_MIGRATE_ABORT_ON_ERROR 1 << 12 当发生错误时取消迁移。
VIR_MIGRATE_AUTO_CONVERGE 1 << 13 开启自动收敛,这意味着将使用一定的算法来降低虚拟机运行速度来使内存数据强制收敛。
VIR_MIGRATE_RDMA_PIN_ALL 1 << 14 当迁移URI以‘rdma://'开头时,可以开启该标志,这意味着迁移开始前将锁定所有虚拟机内存页到主机物理内存,不允许虚拟机内存页放到交换分区(swap)。对于QEMU/KVM虚拟机,需要在xml中设置hard_limit限制虚拟机使用的最大内存,而且需要设置虚拟机配置的最大内存加上QEMU进程自身占用的内存的限制,当内存使用限制设置过高时,该参数将可能导致锁定大部分的物理内存,最终可能导致OOM。
VIR_MIGRATE_POSTCOPY 1 << 15 后拷贝模式。
VIR_MIGRATE_TLS 1 << 16 设置该标志意味着将尝试使用TLS加密数据传输,当源节点和目标节点任意一方不满足TSL配置时,将导致迁移失败。
VIR_MIGRATE_PARALLEL 1 << 17 使用多个网络连接同时进行内存数据的拷贝。

03 热迁移方式介绍

迁移过程控制的三种方式:

  • Managed direct migration。
  • Managed peer to peer migration。
  • Unmanaged direct migration。

迁移过程虚拟机数据传输两种方式:

  • Hypervisor native transport。
  • libvirt tunnelled transport。

OpenStack nova 项目中默认迁移模式:

  • 控制面采用了 managed peer to peer 的方式,nova 通过调用 libvirt.so 触发迁移,整个迁移过程由源节点 libvirtd 控制。
  • 数据面采用 hypervisor native transport,hypervisor 程序负责完成迁移过程中数据的传输。

04 热迁移流程介绍

热迁移操作执行时序图

1)libvirt client 调用接口触发迁移,源节点 libvirtd 接收到迁移请求后,获取迁移的 flag 和 params,并对 flag 和 params 进行校验。

2)源节点 libvirtd 程序调用 virConnectOpenAuth 函数与目标节点建立连接,用于后续跟目标节点数据传输和远程过程调用。

3)begin 阶段,源节点 libvirtd 调用 qemuDomainDefFormatXML 完成虚拟机 xml 的生成。

4)prepare阶段,源节点通过 RPC 的方式调用目标节点 domainMigratePrepare3Params 函数,在目标节点启动一个带 incoming 参数的虚拟机,然后启动 NBD server。

5)perform 阶段,源节点调用 qemuMigrationRun 函数,正式开始迁移并在此阶段将虚拟机内存、状态等数据迁移到目标节点虚拟机。

6)finish 阶段,源节点 libvirtd 通过 RPC 的方式调用目标节点 qemuMigrationFinish 方法,在目标节点停止 NBD server,并调用 qemuProcessStartCPUs 使目标节点虚拟机进入运行状态。

7)confirm 阶段,源节点调用 qemuProcessStop 函数,停止源节点虚拟机对应的 qemu 进程,完成迁移。

05 热迁移加速方法

5.1 多线程压缩

特点

  • 利用 host CPU 提供的算力,对需要传输的内存数据进行压缩。
  • 网络传输带宽一定的情况下,传输数据体积变小。
  • 压缩/解压缩数据本身耗费一定的时间。
  • 压缩率受数据特征影响较大。

加速效果:加速效果受到压缩率、CPU 压缩计算能力影响,加速效果不稳定。

主要参数

  • 压缩线程数:在源节点用于对内存数据进行压缩的线程数。
  • 解压线程数:在目标节点用于解压内存数据线程数,一般为压缩线程数的1/4。
  • 压缩级别:压缩级别分为 1-9 共九个级别,数值越大对应压缩率越高,压缩数据所消耗的 CPU 资源越多,压缩时间越长。

5.2 XBZRLE

特点

  • 传输内存脏页的差异数据,减少数据的传输量。
  • 占用源节点一定量的内存作为 cache 保存原始内存。
  • cache_size 小于虚机内存时,加速效果与 cache_size 成正相关。

加速效果:加速效果受到 cache 大小的影响,适用于主机内存资源充足,且虚拟机内存频繁读写的场景。

主要参数

缓存大小:在源节点临时保存当前内存值,用于产生脏页后计算内存差异数据。

关于直播课件及视频回放获取方式:

【PPT 课件获取】:关注微信公众号(OpenAnolis),回复“龙蜥课件” 即可获取。有任何疑问请随时咨询龙蜥助手—小龙(微信:openanolis_assis)。

【视频回放】:视频回放可在龙蜥视频号(账号:龙蜥社区_小龙)或龙蜥官网 https://openanolis.cn/video 查看。

—— 完 ——

加入龙蜥社群

加入微信群:添加社区助理-龙蜥社区小龙(微信:openanolis_assis),备注【龙蜥】与你同在;加入钉钉群:扫描下方钉钉群二维码。

关于龙蜥

龙蜥社区是立足云计算打造面向国际的 Linux  服务器操作系统开源根社区及创新平台。龙蜥操作系统(Anolis OS)是龙蜥社区推出的 Linux 发行版,拥有三大核心能力:提效降本、更加稳定、更加安全。

目前,Anolis OS 8.8 已发布,更多龙蜥自研特性,支持 X86_64 、RISC-V、Arm64、LoongArch 架构,完善适配 Intel、兆芯、鲲鹏、龙芯等芯片,并提供全栈国密支持。

加入我们,一起打造面向云时代的操作系统!

相关文章
|
1月前
|
监控 Oracle Java
《深入浅出Java虚拟机 — JVM原理与实战》带你攻克技术盲区,探索各大JVM虚拟机特色 —— JVM故障排除指南(先导篇)
《深入浅出Java虚拟机 — JVM原理与实战》带你攻克技术盲区,探索各大JVM虚拟机特色 —— JVM故障排除指南(先导篇)
50 0
|
1月前
|
缓存 算法 安全
【JVM故障问题排查心得】「Java技术体系方向」Java虚拟机内存优化之虚拟机参数调优原理介绍(二)
【JVM故障问题排查心得】「Java技术体系方向」Java虚拟机内存优化之虚拟机参数调优原理介绍
27 0
|
1月前
|
缓存 Java C#
【JVM故障问题排查心得】「Java技术体系方向」Java虚拟机内存优化之虚拟机参数调优原理介绍(一)
【JVM故障问题排查心得】「Java技术体系方向」Java虚拟机内存优化之虚拟机参数调优原理介绍
102 0
|
16天前
|
存储 安全 Java
深入探究Java虚拟机(JVM)的技术细节
深入探究Java虚拟机(JVM)的技术细节
|
1月前
|
监控 Java 调度
探秘Java虚拟机(JVM)性能调优:技术要点与实战策略
【4月更文挑战第17天】本文探讨了JVM性能调优的关键技术,包括内存模型调优(关注堆内存和垃圾回收),选择和优化垃圾收集器,利用JVM诊断工具进行问题定位,以及实战调优案例。强调了开发者应理解JVM原理,善用工具,结合业务场景进行调优,以应对高并发和大数据量的挑战。调优是持续的过程,能提升系统稳定性和效率。
|
1月前
|
安全 Linux 数据安全/隐私保护
Centos7的虚拟机创建流程
Centos7的虚拟机创建流程
59 6
|
1月前
|
存储 Java 索引
《深入浅出Java虚拟机 — JVM原理与实战》带你攻克技术盲区,夯实底层基础 —— 吃透class字节码文件技术基底和实现原理(核心结构剖析)
《深入浅出Java虚拟机 — JVM原理与实战》带你攻克技术盲区,夯实底层基础 —— 吃透class字节码文件技术基底和实现原理(核心结构剖析)
42 0
|
1月前
|
存储 KVM 虚拟化
倚天产品介绍|倚天虚拟化:虚拟机热迁移特性介绍
热迁移分为热迁移和冷迁移,冷迁移过程中有一段明显的时间VM的服务不可用,而热迁移的服务的服务暂停时间非常短。热迁移过程中无需关闭或者长时间暂停VM,VM保持正常运行,只有在热迁移临近结束时有一个非常短暂的停机切换时间。热迁移可保证了VM服务的可用性,提升业务的连续性和用户体验。
|
1月前
|
存储 安全 搜索推荐
虚拟桌面基础结构(VDI)和虚拟机技术的区别和联系
虚拟桌面基础结构(VDI)和虚拟机技术的区别和联系
79 0
|
6月前
|
存储 测试技术
虚拟机热迁移性能优化方案
此次在CLK2023分享的课题,其中的大部分内容之前已通过视频公开课的方式在网络上分享过,PPT中的内容写得更详细,并且新增了部分内容。
109 0