vSAN作为VMware公司超融合架构软件(HCIS),部署在标准的X86服务器上,为用户提供了服务器品牌、型号选择上的灵活性,不受硬件厂商绑定。出于对vSAN的稳定性、性能、数据安全性的考虑,vSAN对服务器的I/O Controller(或称RAID控制器)、SSD、HDD、固件和微码都有严格的兼容性要求。
目前在vSAN的环境中采用 DELL PowerEdge R730/R730xd 和华为的RH2288H V3 的服务器越来越多,同时,这些可能也是大家诟病最多的机型。不过辩证的看,其实也说明vSAN也即这些服务器的装机量比较大。其实用户数大导致问题出现相对较多也是一种正常的现象,装机量小的HCI或者服务器,并不意味着就没有问题,对于用户而言,潜在的问题如果没有机会充分暴露,导致的潜在风险可能更大。
当然,有些客户也可能会说之前部署的时候就没有遵守兼容列表,用着也没有问题啊,怎么用一段时间就出问题了呢?这可能是因为,之前的数据量小,或者运行时间不够长,并没有导致软件驱动和固件不稳定。还有一种可能,可能刚开始运行的应用不重要,没注意到问题的存在。
从用户反馈的问题上来开,一般分为2种情况:
1、有些组件不在兼容列表内
虽然采用的硬件在vSAN的兼容列表内,但是其使用的ESXi版本以及驱动、固件版本未在兼容列表内。vSAN的兼容列表网址是:
http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan
例如,下图所示:ESXi版本对应不同I/O Controller 模式,其 Device Driver 和 Firmware Version 也可能各不相同。
2、I/O Controller 使用模式不正确
这里举出常见部署vSAN Ready Node的型号: DELL PowerEdge R730/R730xd 和华为的RH2288H V3 中 I/O Controller 的配置模式,其他Ready Node配置方式请准守vSAN 兼容列表要求进行配置。
1)DELL PowerEdge R730/R730xd
这款服务器通常出厂配置的I/O Controller为DELL H730 Mini ,最大硬盘插槽24个 2.5" LFF 槽位,或者12个3.5" LFF 槽位 ,当前 R730 仅支持插入1块 I/O Controller , R730xd 支持插入2块I/O Controller。
当前用户实际部署通常有如下几种设计方式(注意,以下6个Solution有些是不正确的,不正确的,不正确的姿势):
我们先来访问http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio来查看一下,这款I/O Controller 支持的模式:
Solution 1
这种方式看上去是很完美的,ESXi做了RAID 1 实现冗余,vSAN磁盘采用vSAN推荐的Pass-Through 的模式,但很抱歉的是Solution 1这种方式是不受官方支持的模式配置。
在vSAN兼容列表内查询到该I/O Controller 在全闪存(All Flash)和Hybrid(混合模式)下仅支持Pass-Through模式。大家知道,《vSAN_6.0设计和优化指南》明确指出过:不要为vSAN 和非 vSAN 磁盘混合使用不同的控制器模式。
相关KB说明:
《拥有同一存储控制器的 VSAN 和非VSAN 磁盘的最佳使用实践》
https://kb.vmware.com/kb/2135390
Solution 2
用户或集成商配置的时候自己看到过或者听其他人说过,不要为 vSAN 和非vSAN 磁盘混合使用不同的控制器模式,并且还打算为ESXi做了RAID1 实现冗余,采用了I/O Controller 配置RAID的模式。这种模式是不受到支持的,首先,在兼容列表内并没有支持RAID的相关信息(看兼容列表的Feature,列出的只有Pass-Through)。其次,vSAN的最佳实践也是强烈建议采用Pass-Through (也即直通)的方式。直通模式对于vSAN后期的监控和运维都比RAID模式要好。
Solution 3
ESXi 采用通过增加一个I/O Controller 进行安装,vSAN的Cache和容量盘采用Pass-Through 的方式进行连接,这种方式是受到VMware官方支持的,但是需要注意的是,R730是不能插入2块I/O Controller ,该解决方案仅能在R730xd这种支持两块I/O Controller的型号上使用。
注意:R730xd 配置2块I/O Controller 具体连接、配置、限制等信息,请联系DELL进行咨询确认。
Solution 4
ESXi 采用双SD卡方式进行安装,vSAN的Cache和容量盘采用Pass-Through 的方式进行连接,这种方式是DELL 推荐的一种方式,同时,我们也可以到 DELL vSAN Ready Node 中也是这样推荐的配置。当然采用SD卡安装ESXi的话,需要手动指定LOG 存储的永久位置,不要把主机的日志输出指向vSANDatastore,当主机内存大于512G时,可采用SATADOM的解决方案。
关于日志的3个解决方案:
存储在永久存储中(KB1033696)
存储在 Syslog 服务器中(KB2003322)
存储 vRealize Log Insight 服务器中(KB2144909)
关于 DELL 双SD卡的解决方案说明
http://www.dell.com/downloads/global/products/pedge/en/poweredge-idsdm-whitepaper-en.pdf
DELL R730xd vSANReady Node 配置:
Solution 5
整张I/O Controller 采用Pass-Through模式,并在其中选择一块HDD 用于ESXi的安装,VMware不支持在该型号的I/OController上同时配置 vSAN 磁盘和 VMFS 卷,安装完ESXi后创建的Datastorage 需要禁用。该方式是受到支持的,但是ESXi属于单点存储。不过,大家都知道,ESXi运行后都加在到内存里了,而且得益于vSphere的集群高可用,这种单点的风险并不大。
相关KB
《在采用 lsi_mr3 驱动程序的Dell H730 控制器上运行 VMware vSAN 和VMware vSphere VMFS 数据存储的部署准则》
https://kb.vmware.com/kb/2141107
Solution 6
ESXi 采用单SD、U盘、SATADOM等其他方式进行安装,vSAN的Cache和容量盘采用Pass-Through 的方式进行连接,当然采用SD卡安装ESXi的话,需要手动指定LOG 存储的永久位置,请不要把主机的日志输出指向vSANDatastore。该方式是受到支持的,但是由于ESXi属于单点存储。
关于日志的3个解决方案:
存储在永久存储中(KB1033696)
存储在 Syslog 服务器中(KB2003322)
存储 vRealize Log Insight 服务器中(KB2144909)
该方式是受到支持的,但是由于ESXi属于单点存储。
6种配置方式的总结
VMware极力推荐并支持Solution 4,如果服务器是R730XD,支持Solution 3;不支持Solution 1和Solution 2;
VMware不推荐Solution 5和Solution 6。注意不推荐的原因是ESXi属于单点,但仍可使用,出问题VMware也是支持的。
2)华为的RH2288H V3
我们先来访问http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio 来查看一下,这款I/O Controller 支持的模式:
上图表明,全闪存的时候,只支持直通(Pass-Through);混合阵列的时候,支持直通(Pass-Through),或者RAID-0。
全闪存阵列
市场上通常有如下几种设计方式(注意,以下4个Solution有些是不正确的,不正确的,不正确的姿势):
我们从上文知道一张 I/O Controller 即做RAID 又做直通的方式是不支持的,所以下面就没有在考虑的范围内。
推导的过程类似DELL服务器,在这就省略了。我们的结论是:全闪存极力推荐和All Flash -2;不支持All Flash -1 ;
不推荐All Flash -3和All Flash -4。注意不推荐的原因是ESXi属于单点,但仍可使用,出问题VMware也是支持的。
混合阵列
混合模式推荐Hybrid -1 和Hybrid -2,不推荐Hybrid -3和Hybrid -4。
注意:
1、硬件厂家也会对其硬件设计进行调整,如:服务电源、PCI插槽,I/OController数量,盘位数量等,所以在硬件配置前请于硬件厂商进行配置确认,已硬件厂商确认为准;
2、由于vSAN的兼容列表会根据认证结果不定期更新,所以使用前请访问http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio进行查询确认,已VMware官网最新版本为准。
---End---
【编者按】
本文只列举了戴尔服务器和华为服务器,如果仔细通读一遍,你会发现,其他服务器也可以以此类推。
欢迎大家投稿,投稿一经采用并发布,获得的赞赏收入,作者可获得60%。投稿可微信私信我,或者通过QQ号 9269216联系我。
上期文章 赠书和投票 | 视频《软件定义存储技术与生态》和文档下载 的结果如下:
1、投票《你最认可哪些SDS相关的观点?》 中,投票排名前九的依次如下:
一、混合云是IT发展的长期趋势 13%
二、SDDC三阶段论:抽象、池化和自动化 9%
三、自动化是实现云计算的必备环节 9%
四、搭建混合云的最好方法是软件定义数据中心(SDDC) 8%
五、Server SAN/HCI 将逐渐成为主流 7%
六、软件定义其实是一个过程,不是一蹴而就的目标,它分成不同阶段 7%
七、软件定义,为云而生 6%
八、硬件发展迅猛,给软件定义提供了发展空间 5%
九、软件定义存储的目标是存储即服务 5%