VMware 虚拟化编程(14) — VDDK 的高级传输模式详解

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
简介: 目录目录前文列表虚拟磁盘数据的传输方式 Transport MethodsLocal File AccessNBD and NBDSSL TransportSAN TransportHotAdd Transport前文列表VMware...

目录

前文列表

VMware 虚拟化编程(1) — VMDK/VDDK/VixDiskLib/VADP 概念简析
VMware 虚拟化编程(2) — 虚拟磁盘文件类型详解
VMware 虚拟化编程(3) —VMware vSphere Web Service API 解析
VMware 虚拟化编程(4) — VDDK 安装
VMware 虚拟化编程(5) — VixDiskLib 虚拟磁盘库详解之一
VMware 虚拟化编程(6) — VixDiskLib 虚拟磁盘库详解之二
VMware 虚拟化编程(7) — VixDiskLib 虚拟磁盘库详解之三
VMware 虚拟化编程(8) — 多线程中的 VixDiskLib
VMware 虚拟化编程(9) — VMware 虚拟机的快照
VMware 虚拟化编程(10) — VMware 数据块修改跟踪技术 CBT
VMware 虚拟化编程(11) — VMware 虚拟机的全量备份与增量备份方案
VMware 虚拟化编程(12) — VixDiskLib Sample 程序使用
VMware 虚拟化编程(13) — VMware 虚拟机的备份方案设计

虚拟磁盘数据的传输方式 Transport Methods

在前面的篇章中有简单的介绍过 VDDK 支持的数据传输模式:

  • 本地文件 (Local File)
  • 网络块设备 (NBD, Network Block Device)
  • 局域网的加密 (NBDSSL,NBD with encryption)
  • 存储区域网络 (SAN, Storage Area Network)
  • 热添加的 SCSI (SCSI HotAdd)

备份程序都是通过调用 VixDiskLib 的 VixDiskLib_ConnectEx 接口来建立与 VMDK 的连接,如果传输模式参数传入为 NULL 的话,VixDiskLib 会按照默认按照「file:san:hotadd:nbd」的顺序依次尝试,值得首次成功或者全部失败。当建立连接成功之后,可以调用 VixDiskLib_ListTransportModes 查看此时连接所用的传输模式。

Local File Access

Local File Access 本地文件访问模式,使用 VixDiskLib 直接读取 ESXi Host 本地 /vmfs/volumes 下的虚拟磁盘数据,简单来说就是直接读取本地 Hosted Disk 内的数据。但需要注意的是,Local File Access 并非一种网络传输的方式,所以肯定是不能被应用于备份应用的。

NBD and NBDSSL Transport

这里写图片描述

NBD and NBDSSL Transport (加密)网络块设备传输模式,也叫 LAN Transport,只要在局域网络环境中就能支持,是最基础也是最通用的备份数据传输方式,当其他的传输方式不可用时,VixDiskLib 会自动回退(fall‐back)到该传输模式。NBD 将远程 ESXi 主机上的存储视为一个块设备,所以 NBD 支持镜像级别备份。NBDSSL 就是在 NBD 的基础上使用 SSL 来加密的 TCP 连接上传输的数据。

从上图可以看出,ESXi Host 会从其 VMFS 中的虚拟磁盘读取数据,然后再将数据流通过 LAN 传输到 Backup Server,所以 NBD/NBDSSL 数据传输使用的是 ESXi Host 的管理网络,而非独立的数据传输网络。这就意味着 NBD/NBDSSL 的传输速率会更低,同时也需要考虑数据传输所占用的带宽是否会影响到 ESXi Host 的正常通信。

NBD/NBDSSL 特性

  • 支持所有存储类型,具有很好的通用性。
  • 支持使用虚拟机作为 Backup Proxy,这样能够最小化备份业务的性能影响。可以考虑将 Backup Proxy 运行在级别较低的资源池中。
  • 在私有的网络环境中,可以考虑使用 NBD 代替 NBDSSL,因为前者的速度更快,占用的资源更低。当然,这个视乎数据的安全级别。

NOTE:物理备份服务器 Backup Server;虚拟备份服务器 Backup Proxy;

SAN Transport

这里写图片描述
SAN 传输模式

SAN Transport,VixDiskLib 的高级传输模式之一,是效率最高的数据传输模式,应用 SAN 需要 Backup Server 和 ESXi 主机共享一个 Datastore 依赖的 LUN,使 Backup Server 能够直接访问 LUN 的原始数据,并绕过了 ESXi 主机的 I/O 操作。换句话说就是 SAN 传输模式要求 Backup Server 能够通过 FC/iSCSI/SAS 访问到虚拟磁盘。

此传输模式下,VixDiskLib 会从 VC/ESXi 中获取相关 VMFS LUN 的布局信息,然后基于这些信息直接从虚拟磁盘对应的 LUN 设备中读取数据,而无需再通过 ESXi Host 和 LAN 来进行数据传输。使用 SAN 数据传输网络,达到了 LAN free 的效果。

SAN Transport 特性

  • 仅支持 SAN 网络存储
  • 仅支持物理备份服务器
  • 要求能够以 RAW 设备的形式访问 LUN 设备
  • 不能兼容 VSAN(a network based storage solution with direct attached disks)
  • SAN 存储设备支持包含 SATA drives
  • 支持 Fibre Channel、iSCSI、SAS(based storage arrays)
  • 是备份的最佳选择,但对恢复来说却不是

NOTE:使用 SAN Transport 恢复虚拟机时,如果虚拟机有一个预先存在的快照的话,那么你需要先删除掉该快照,否则将恢复失败。

HotAdd Transport

这里写图片描述

HotAdd 是 VMware 提供的一种功能,允许正在运行的虚拟机动态添加 SCSI 磁盘、CPU 和内存设备配置,而 HotAdd Transport 就是基于 HotAdd 功能实现的另一种 VixDiskLib 高级传输模式。

HotAdd Transport 要求备份应用运行在 Backup Proxy 中,与 NBD/NBDSSL 一样也是使用 LAN 进行数据传输,不同在于前者需要走管理网络(ESXi 控制),而后者走的是数据/存储网络,所以 HotAdd Transport 的数据传输效率依旧比 NBD/NBDSSL 更高。Backup Proxy 以 HotAdd 传输模式连接到备份目标虚拟机创建的快照之后,会创建该快照的一个临时克隆链接(linked clone)并将这个链接 Attach 到 Backup Proxy。此时在 Backup Proxy 上会发现一块新的 SCSI 磁盘设备,然后就可以使用 VixDiskLib 来直接读取该磁盘设备中的数据,Backup Proxy 也能够想读取自己的磁盘一样来读取新的 SCSI 磁盘中的文件。

HotAdd Transport 特征

  • 仅支持 Backup Proxy
  • 仅适用于备份具有 SCSI 磁盘的虚拟机,不支持备份 IDE 虚拟磁盘

NOTE 1:当使用 HotAdd 备份一个 Linux GuestOS 时,通常会按照数字顺序为虚拟机添加的 SCSI Contorller 指定一个 ID。但因为 Linux GuestOS 缺少一个接口来通知 SCSI Controller 被分配到了哪一个总线 ID,所以 HotAdd 会假设 SCSI Controller 的唯一 ID 和它的总线 ID 总是相关的。但实际上这个假设是有可能不成立的,例如:如果 Linux GuestOS 的第一个 SCSI Controller ID 0 被分配到总线 ID 0,但是你添加了一个 SCSI Controller ID 1 并将其分配到总线 ID 3。对于这种情况下,HotAdd 高级传输模式就很可能会失败,因为它期望的总线 ID 是 1,才能够继续与总线 ID 相关。为避免出现这种问题,当向虚拟机添加 SCSI Controller 时,必须严格按照数字顺序分配下一个可用的总线 ID。

NOTE 2:如果新添加的虚拟磁盘引用了一个还不存在的 SCSI Controller ID,VMware 为隐式的添加一个 SCSI Controller 来完成 bus:disk 分配。例如:如果磁盘 0:0 和 0:1 已经存在,添加一个磁盘 1:0 没有问题,VMware 会隐式的添加 SCSI Controller 1。但是如果你手动的添加磁盘 3:0 就会打破总线 ID 的顺序(SCSI Controller 1 != Bus 3)。为了避免 HotAdd 连接问题,需要严格按照数字顺序来添加虚拟磁盘。

这里写图片描述

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
相关文章
|
2月前
|
存储 网络安全 虚拟化
虚拟化数据恢复—VMware ESX Server数据恢复案例
虚拟化数据恢复环境: 某企业信息管理平台, 几台VMware ESX Server主机共享一台存储设备,大约有几十台虚拟机。 虚拟化故障&原因: Vcenter报告虚拟磁盘丢失。管理员通过ssh远程到ESX中执行fdisk -l命令查看磁盘,发现STORAGE已经没有分区表了。重启所有设备后,ESX SERVER均无法连接到存储设备中的STORAGE。
|
1月前
|
存储 SQL 数据库
虚拟化数据恢复—Vmware虚拟机误还原快照的数据恢复案例
虚拟化数据恢复环境: 一台虚拟机从物理机迁移到ESXI虚拟化平台,迁移完成后做了一个快照。虚拟机上运行了一个SQL Server数据库,记录了数年的数据。 ESXI虚拟化平台上有数十台虚拟机,EXSI虚拟化平台连接了一台EVA存储,所有的虚拟机都存放在EVA存储上。 虚拟化故障: 工组人员误操作将数年前迁移完成后做的快照还原了,也就意味着虚拟机状态还原到数年前,近几年数据都被删除了。 还原快照相当于删除数据,意味着部分存储空间会被释放。为了不让这部分释放的空间被重用,需要将连接到这台存储的所有虚拟机都关掉,需要将不能长时间宕机的虚拟机迁移到别的EXSI虚拟化平台上。
106 50
|
1月前
|
存储 网络安全 虚拟化
虚拟化数据恢复—VMware ESX SERVER数据恢复案例
虚拟化数据恢复环境&故障: 某单位信息管理平台,数台VMware ESX SERVER共享一台某品牌DS4100存储。 vc报告虚拟磁盘丢失,管理员ssh到ESX中执行fdisk -l查看磁盘,发现STORAGE中的分区表不见了。重启所有设备后,ESX SERVER均无法连接到DS4100存储中的STORAGE。
|
1月前
|
域名解析 网络协议 虚拟化
vmware 提供的三种网络工作模式
本文介绍了VMware虚拟机的三种网络工作模式:Bridged(桥接模式)、NAT(网络地址转换模式)和Host-Only(仅主机模式)。桥接模式将虚拟机与主机通过虚拟网桥连接,实现与物理网络的直接通信;NAT模式通过虚拟NAT设备和DHCP服务器使虚拟机联网;Host-Only模式则将虚拟机与外网隔离,仅与主机通信。此外,文章还简要介绍了网络相关的基础知识,包括主机名、IP地址、子网掩码、默认网关和DNS服务器。
61 3
|
3月前
|
存储 SQL 数据挖掘
虚拟化数据恢复—VMware虚拟机vmdk文件被误删除的数据恢复案例
虚拟化数据恢复环境: 某品牌服务器(部署VMware EXSI虚拟机)+同品牌存储(存放虚拟机文件)。 虚拟化故障: 意外断电导致服务器上某台虚拟机无法正常启动。查看虚拟机配置文件发现这台故障虚拟机除了磁盘文件以外其他配置文件全部丢失,xxx-flat.vmdk磁盘文件和xxx-000001-delta.vmdk快照文件还在。管理员联系VMware工程师寻求帮助。VMware工程师尝试新建一个虚拟机来解决故障,但发现ESXi存储空间不足。于是将故障虚拟机下的xxx-flat.vmdk磁盘文件删除,然后重建一个虚拟机并且分配固定大小的虚拟磁盘。
|
4月前
|
存储 安全 Linux
在Linux中,如何使用VMware和VirtualBox进行虚拟化?
在Linux中,如何使用VMware和VirtualBox进行虚拟化?
|
28天前
|
Ubuntu 网络安全 虚拟化
VMware虚拟机ping不通原因排查及分析
下面以 VMware 虚拟机为例进行介绍。
413 3
|
2月前
|
安全 虚拟化 数据中心
Xshell 连接 VMware虚拟机操作 截图和使用
Xshell 连接 VMware虚拟机操作 截图和使用
64 4
|
2月前
|
Linux 虚拟化
vmware虚拟机安装2024(超详细)
vmware虚拟机安装2024(超详细)
358 6
|
6月前
|
Unix Linux 虚拟化
虚拟机VMware知识积累
虚拟机VMware知识积累