Dell PowerEdge R740xd解析:服务器只看参数那就错了-阿里云开发者社区

开发者社区> 数据库> 正文

Dell PowerEdge R740xd解析:服务器只看参数那就错了

简介: - 支持3/6块共900W GPU:PCIe散热设计非易事; - NVDIMM:电池保护、Oracle数据库和SDS应用; - 机箱内部驱动器托架、PERC、NDC等

昨天写了《Dell PowerEdge R940解析:四路顶配服务器维护平民化》,今天继续。

 

对于R7x0这样的2U主力服务器机型,说实话我觉得不是特别好写。一方面不如四路有特点,另外又是互联网等行业消耗最多的,可以说乃服务器厂商必争之地。正如业内同行所言,比较有追求的厂商在某些功能参数上如果落后领先者一代,因为只要你愿意投入下一代产品就可能追上。

 

0?wx_fmt=jpeg


不过,指标归指标、品质归品质。服务器的R.A.S.(可靠性、可用性、可维护性)才是更重要的实力体现。关于13G PowerEdgeR730的品质,多听听用户端的口碑就好,不需要我在这里主观评论什么。

 

支持3/6块共900W GPUPCIe散热设计非易事

 

0?wx_fmt=jpeg


今天介绍这台R740xd样机,前面板是2U 123.5英寸盘位的布局。

 

0?wx_fmt=jpeg


在机箱后端选配了23.5英寸热插拔驱动器位,当然该机型还有更多灵活的选择。

 

0?wx_fmt=jpeg


还是看机箱上盖内侧的贴纸说明,最上面的配置是除了NDC(网卡模块)之外7个全高PCIe扩展槽;

 

往下是前端配123.5英寸盘(0-11),后背42.5英寸盘位;

 

如果前端换成242.5寸硬盘/SSD,后面再加上4个就是28块。当然机箱中部还可以有(+4),这个我在下文中会介绍;

 

如果都是3.5寸盘,R740xd前后端一共是12+2的配置,同样可以在机箱中部加盘(+4)。

 

这里我想特别提一下GPU支持,因为好几位朋友都问到我R740xd支持3300W双插槽GPU的事情。据我了解,Dell可能不是第一家做到这点的,但要做到解决好散热却不太容易。

 

0?wx_fmt=jpeg


上图引用自技术文档《Direct from Development –PowerEdge Multi-Vector Cooling》,应该代表了R740系列服务器7PCIe扩展槽可以支持最大的散热气流量LFM单位表示线性英尺每分钟。一般负载下风扇不需要全速运转,可以根据对应位置的传感器温度值来做精细调节。

 

0?wx_fmt=jpeg


PowerEdge 14G服务器同步更新的iDRAC9管理界面中,PCIe Airflow设置部分可以识别扩展卡是否为第三方、类型(FC HBARAID或者SSD)。对于第三方PCIe扩展卡Dell可能识别不准其功耗,如果自动的200LFM风量不够合适,也可以手动调节。最终都会反应到6个系统风扇的转速上。

 

注:根据690LFM支撑150W GPU来推算,200LFM大约能支持40多瓦功耗的PCIe扩展卡,如果20W以内改到100LFM应该问题不大。我这么算也可能不准:)

 

0?wx_fmt=jpeg


拆下来的风扇排。从这个角度还可以看到PowerEdge R740xdSAS背板,上面带热管散热片的就是Expander芯片。由于R740xd还可以支持最多242.5英寸U.2 NVMe SSD,所以可选不同的热插拔背板。

 

NVDIMM:电池保护、Oracle数据库和SDS应用

 

0?wx_fmt=jpeg


PowerEdge R740服务器支持12NVDIMM,虽然这台样机没有配,不过从这张图上可以看出对应电池模块固定的位置。如果想从平面变成三维理解,可以接着往下看。

 

0?wx_fmt=jpeg


712日的PowerEdge 14G发布会上,Dell列举了2家合作伙伴在应用中测试NVDIMM的价值,其中一家是大名鼎鼎的Oracle服务商云和恩墨。上图中列举的是NVDIMMRedo log性能提高20,对比平台配置信息没有详细讲。

 

NVDIMM就是DRAM内存的性能,受限于Backupto Flash掉电保护设计,目前容量应该在单条8-32GB之间。如果想兼顾性能(低延时)和容量,使用3D XPoint MemoryIntel Optane SSD P4800X 375GB表现也不错,参见《Optane P4800X评测(2)Oracle 170TPM意味着什么?》一文。

 

0?wx_fmt=jpeg

 

另一家合作伙伴是XSKY,也是Dell发起的“未来就绪企业云联盟”成员,我在《NVMeF的另一种用法:连接AFA控制器和JBOF》中曾经提到过两家公司的共同案例。本次介绍了将PMEM(持久化内存)用于CephJournal存储,延时可降低7

 

此外,这个方案中还用到了PowerEdge 14G服务器的25GbE网卡,iWARPRDMA支持可以减少CPU负担、降低存储网络延时。

 

0?wx_fmt=jpeg

打开上盖的Dell PowerEdge R740xd

 

机箱内部驱动器托架、PERCNDC

 

0?wx_fmt=jpeg

 

上面就是R740xd机箱中部的驱动器托架,看着和上一代R730xd差别不大,主要变化应该是支持2.5英寸转换套件。由于这里的视角是从机箱后端看,所以最左边那个盘位应该就是和NVDIMM电池共用的。

 

0?wx_fmt=jpeg

 

加上这4个盘位,R740xd支持的最大3.5英寸硬盘可达18块,2.5寸驱动器最多32个。

 

0?wx_fmt=jpeg

上图是拆下的机箱后端那23.5英寸热插拔托架,分量够重可见钢板厚度。

 

也许有朋友会问,机箱后端能否设计更多的盘位?内部托架如果使用2.5寸盘可否支持更多?我认为这里要考虑2个问题,不一定最大就好:

 

1、  硬盘控制器SAS RAID卡、HBA)、扩展器支持的端口数量。比如48SAS Expander,如果支持双RAID卡上行占据16 lane,剩下正好是32盘位;

2、  散热、散热、散热,重要的事情讲三遍。因为机箱内部和后端的硬盘/SSD进风温度没有前面板那么乐观,这个和GPU支持是同样的道理。

 

0?wx_fmt=jpeg

 

我拆下其中一颗CPU的散热器,下面露出LGA-3647插座。

 

0?wx_fmt=jpeg

 

Dell PERC SAS/SATA RAID卡模块的样子没有变,14G服务器除了PERC9还可选新一代PERC10H740pH840Cache容量可以更大。

 

为什么还用电池而不是电容,理由参见《炉石传说数据库损坏:这锅RAID卡电池背吗?》。

 

0?wx_fmt=jpeg

 

Dell服务器专用的NDC网络子卡模块,这里同样配置了Broadcom 10G/GbE 2+2P 57800-t rNDC。大家还记得上一篇中它在PowerEdge R940中是怎么转成竖插的吗?

 

0?wx_fmt=jpeg

 

细心的朋友可能看到了它——IDSDM Dual-SD模块插在NDC和电源之间的主板边缘位置。

 

今天先写到这里吧,下周有时间继续给大家分享别的Xeon Scalable服务器。

 

参考资料

Direct from Development – PowerEdge Multi-Vector Coolinghttp://en.community.dell.com/techcenter/extras/m/white_papers/20444244

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

其他文章