VMware 虚拟化编程(14) — VDDK 的高级传输模式详解-阿里云开发者社区

开发者社区> 范桂飓> 正文

VMware 虚拟化编程(14) — VDDK 的高级传输模式详解

简介: 目录 目录 前文列表 虚拟磁盘数据的传输方式 Transport Methods Local File Access NBD and NBDSSL Transport SAN Transport HotAdd Transport 前文列表 VMware...
+关注继续查看

目录

前文列表

VMware 虚拟化编程(1) — VMDK/VDDK/VixDiskLib/VADP 概念简析
VMware 虚拟化编程(2) — 虚拟磁盘文件类型详解
VMware 虚拟化编程(3) —VMware vSphere Web Service API 解析
VMware 虚拟化编程(4) — VDDK 安装
VMware 虚拟化编程(5) — VixDiskLib 虚拟磁盘库详解之一
VMware 虚拟化编程(6) — VixDiskLib 虚拟磁盘库详解之二
VMware 虚拟化编程(7) — VixDiskLib 虚拟磁盘库详解之三
VMware 虚拟化编程(8) — 多线程中的 VixDiskLib
VMware 虚拟化编程(9) — VMware 虚拟机的快照
VMware 虚拟化编程(10) — VMware 数据块修改跟踪技术 CBT
VMware 虚拟化编程(11) — VMware 虚拟机的全量备份与增量备份方案
VMware 虚拟化编程(12) — VixDiskLib Sample 程序使用
VMware 虚拟化编程(13) — VMware 虚拟机的备份方案设计

虚拟磁盘数据的传输方式 Transport Methods

在前面的篇章中有简单的介绍过 VDDK 支持的数据传输模式:

  • 本地文件 (Local File)
  • 网络块设备 (NBD, Network Block Device)
  • 局域网的加密 (NBDSSL,NBD with encryption)
  • 存储区域网络 (SAN, Storage Area Network)
  • 热添加的 SCSI (SCSI HotAdd)

备份程序都是通过调用 VixDiskLib 的 VixDiskLib_ConnectEx 接口来建立与 VMDK 的连接,如果传输模式参数传入为 NULL 的话,VixDiskLib 会按照默认按照「file:san:hotadd:nbd」的顺序依次尝试,值得首次成功或者全部失败。当建立连接成功之后,可以调用 VixDiskLib_ListTransportModes 查看此时连接所用的传输模式。

Local File Access

Local File Access 本地文件访问模式,使用 VixDiskLib 直接读取 ESXi Host 本地 /vmfs/volumes 下的虚拟磁盘数据,简单来说就是直接读取本地 Hosted Disk 内的数据。但需要注意的是,Local File Access 并非一种网络传输的方式,所以肯定是不能被应用于备份应用的。

NBD and NBDSSL Transport

这里写图片描述

NBD and NBDSSL Transport (加密)网络块设备传输模式,也叫 LAN Transport,只要在局域网络环境中就能支持,是最基础也是最通用的备份数据传输方式,当其他的传输方式不可用时,VixDiskLib 会自动回退(fall‐back)到该传输模式。NBD 将远程 ESXi 主机上的存储视为一个块设备,所以 NBD 支持镜像级别备份。NBDSSL 就是在 NBD 的基础上使用 SSL 来加密的 TCP 连接上传输的数据。

从上图可以看出,ESXi Host 会从其 VMFS 中的虚拟磁盘读取数据,然后再将数据流通过 LAN 传输到 Backup Server,所以 NBD/NBDSSL 数据传输使用的是 ESXi Host 的管理网络,而非独立的数据传输网络。这就意味着 NBD/NBDSSL 的传输速率会更低,同时也需要考虑数据传输所占用的带宽是否会影响到 ESXi Host 的正常通信。

NBD/NBDSSL 特性

  • 支持所有存储类型,具有很好的通用性。
  • 支持使用虚拟机作为 Backup Proxy,这样能够最小化备份业务的性能影响。可以考虑将 Backup Proxy 运行在级别较低的资源池中。
  • 在私有的网络环境中,可以考虑使用 NBD 代替 NBDSSL,因为前者的速度更快,占用的资源更低。当然,这个视乎数据的安全级别。

NOTE:物理备份服务器 Backup Server;虚拟备份服务器 Backup Proxy;

SAN Transport

这里写图片描述
SAN 传输模式

SAN Transport,VixDiskLib 的高级传输模式之一,是效率最高的数据传输模式,应用 SAN 需要 Backup Server 和 ESXi 主机共享一个 Datastore 依赖的 LUN,使 Backup Server 能够直接访问 LUN 的原始数据,并绕过了 ESXi 主机的 I/O 操作。换句话说就是 SAN 传输模式要求 Backup Server 能够通过 FC/iSCSI/SAS 访问到虚拟磁盘。

此传输模式下,VixDiskLib 会从 VC/ESXi 中获取相关 VMFS LUN 的布局信息,然后基于这些信息直接从虚拟磁盘对应的 LUN 设备中读取数据,而无需再通过 ESXi Host 和 LAN 来进行数据传输。使用 SAN 数据传输网络,达到了 LAN free 的效果。

SAN Transport 特性

  • 仅支持 SAN 网络存储
  • 仅支持物理备份服务器
  • 要求能够以 RAW 设备的形式访问 LUN 设备
  • 不能兼容 VSAN(a network based storage solution with direct attached disks)
  • SAN 存储设备支持包含 SATA drives
  • 支持 Fibre Channel、iSCSI、SAS(based storage arrays)
  • 是备份的最佳选择,但对恢复来说却不是

NOTE:使用 SAN Transport 恢复虚拟机时,如果虚拟机有一个预先存在的快照的话,那么你需要先删除掉该快照,否则将恢复失败。

HotAdd Transport

这里写图片描述

HotAdd 是 VMware 提供的一种功能,允许正在运行的虚拟机动态添加 SCSI 磁盘、CPU 和内存设备配置,而 HotAdd Transport 就是基于 HotAdd 功能实现的另一种 VixDiskLib 高级传输模式。

HotAdd Transport 要求备份应用运行在 Backup Proxy 中,与 NBD/NBDSSL 一样也是使用 LAN 进行数据传输,不同在于前者需要走管理网络(ESXi 控制),而后者走的是数据/存储网络,所以 HotAdd Transport 的数据传输效率依旧比 NBD/NBDSSL 更高。Backup Proxy 以 HotAdd 传输模式连接到备份目标虚拟机创建的快照之后,会创建该快照的一个临时克隆链接(linked clone)并将这个链接 Attach 到 Backup Proxy。此时在 Backup Proxy 上会发现一块新的 SCSI 磁盘设备,然后就可以使用 VixDiskLib 来直接读取该磁盘设备中的数据,Backup Proxy 也能够想读取自己的磁盘一样来读取新的 SCSI 磁盘中的文件。

HotAdd Transport 特征

  • 仅支持 Backup Proxy
  • 仅适用于备份具有 SCSI 磁盘的虚拟机,不支持备份 IDE 虚拟磁盘

NOTE 1:当使用 HotAdd 备份一个 Linux GuestOS 时,通常会按照数字顺序为虚拟机添加的 SCSI Contorller 指定一个 ID。但因为 Linux GuestOS 缺少一个接口来通知 SCSI Controller 被分配到了哪一个总线 ID,所以 HotAdd 会假设 SCSI Controller 的唯一 ID 和它的总线 ID 总是相关的。但实际上这个假设是有可能不成立的,例如:如果 Linux GuestOS 的第一个 SCSI Controller ID 0 被分配到总线 ID 0,但是你添加了一个 SCSI Controller ID 1 并将其分配到总线 ID 3。对于这种情况下,HotAdd 高级传输模式就很可能会失败,因为它期望的总线 ID 是 1,才能够继续与总线 ID 相关。为避免出现这种问题,当向虚拟机添加 SCSI Controller 时,必须严格按照数字顺序分配下一个可用的总线 ID。

NOTE 2:如果新添加的虚拟磁盘引用了一个还不存在的 SCSI Controller ID,VMware 为隐式的添加一个 SCSI Controller 来完成 bus:disk 分配。例如:如果磁盘 0:0 和 0:1 已经存在,添加一个磁盘 1:0 没有问题,VMware 会隐式的添加 SCSI Controller 1。但是如果你手动的添加磁盘 3:0 就会打破总线 ID 的顺序(SCSI Controller 1 != Bus 3)。为了避免 HotAdd 连接问题,需要严格按照数字顺序来添加虚拟磁盘。

这里写图片描述

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
UNIX环境高级编程笔记之高级I/O
  本章说明了很多高级I/O功能: 非阻塞I/O——发一个I/O操作,不使其阻塞,记录锁,STREAMS机制 I/O多路转接——select和poll函数 readv和writev函数,以及存储映射I/O(mmap函数)
702 0
《UNIX环境高级编程(第3版)》——2.7 功能测试宏
如前所述,头文件定义了很多POSIX.1和XSI符号。但是除了POSIX.1和XSI定义外,大多数实现在这些头文件中也加入了它们自己的定义。如果在编译一个程序时,希望它只与POSIX的定义相关,而不与任何实现定义的常量冲突,那么就需要定义常量_POSIX_C_SOURCE。
1450 0
UNIX环境高级编程笔记之进程环境
本章讲的都是一些非常基础的知识,目的是为了下一章讲进程控制做铺垫,所以,本章就不做过多的总结了,直接看图吧。
703 0
Vmware workstation 系列-入门-什么是虚拟化
本文将介绍Vmware workstation(以下,简称vm)是什么,有什么用?以及云计算的关系是什么?
704 0
《UNIX环境高级编程(第3版)》——2.2 UNIX标准化
Single UNIX Specification(SUS,单一UNIX规范)是POSIX.1标准的一个超集,它定义了一些附加接口扩展了POSIX.1规范提供的功能。POSIX.1相当于Single UNIX Specification中的基本规范部分。
1340 0
UNIX环境高级编程笔记之进程控制
  本章重点介绍了进程控制的几个函数:fork、exec族、_exit、wait和waitpid等,主要需要掌握的是父进程和子进程之间的运行机制,怎么处理进程的正常和异常终止、以及怎么让进程执行不同的程序等知识点。下一章将进一步说明一个进程和其他进程之间的关系——会话和作业控制。
678 0
UNIX环境高级编程笔记之标准I/O库
一、总结   文件I/O一章讲了不带缓冲的I/O,本章讲的是带缓冲的I/O。不带缓冲针对的是内核的系统调用,而带缓冲针对的是用户空间的标准库函数,是基于带缓冲的I/O实现的。不带缓冲的I/O通过文件描述符的方式来引用一个文件,而带缓冲的I/O则通过文件流(stream)的方式来引用文件。
675 0
Java高级之虚拟机加载机制
Jvm要加载的是二进制流,可以是.class文件形式,也可以是其他形式,按照它加载的标准来设计就不会有太大问题。
24276 0
《UNIX环境高级编程(第3版)》——2.9 标准之间的冲突
就整体而言,这些不同的标准之间配合得相当好。因为SUS基本说明和POSIX.1是同一个东西,所以我们不对它们进行特别的说明,我们主要关注ISO C标准和POSIX.1之间的差别。它们之间的冲突并非有意,但如果出现冲突,POSIX.1服从ISO C标准。
1136 0
《UNIX环境高级编程(第3版)》——2.5 限制
UNIX系统实现定义了很多幻数和常量,其中有很多已被硬编码到程序中,或用特定的技术确定。由于大量标准化工作的努力,已有若干种可移植的方法用以确定这些幻数和具体实现定义的限制。这非常有助于改善UNIX环境下软件的可移植性。
1781 0
+关注
范桂飓
OpenStack Developer, Opensource Lover :- )
263
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载