剑桥大学在2014年投资2000万英镑建设了一个新的综合性数据中心,该数据中心已经取代了该大学多个不同的数据中心设施,并大幅度减少剑桥大学的碳足迹,同时扩大其技术领先的优势。
剑桥大学的多用户数据中心采用了一种高效的“冷冻水”混合冷却系统,预计将减少电力消耗,同时与2013年相比,减少了10%的碳排放量。剑桥大学在2020年减少34%的与能源相关的排放量,这意味着向其既定的目标迈出了重要一步。
建设该数据中心项目始于一个艰难的决定。剑桥大学有很多部门,各自运行自己的服务器,并使用大学的信息服务。剑桥大学还进行了一个高性能计算服务(HPCS)的研究,2014年成为教科文组织统计研究所的一部分。该大学还拥有剑桥评估、国际服务、管理三个考试委员会,以及剑桥大学学术出版社。
剑桥大学所有这些部门有着各自不同的计算资源,其中一些陈旧老化。而不是试图将所有不同的IT资源分开,机构决定形成一个合作伙伴关系,并建设一个定制的数据中心,可以在未来的几年里最终支持剑桥所有部门的计算需求、学习和研究。
剑桥大学各部门的合作伙伴委托奥雅纳工程顾问公司,提供环保、土木、结构和岩土工程,以及信息和通信技术咨询。而与奥雅纳公司合作的还有戴维斯兰登公司和TTSP建筑公司。
该数据中心已经建成,并于2014年7月交付使用,并在2014和2015年期间,将工作负载迁移到该数据中心,剑桥西数据中心将服务于大学信息服务(UIS)部门的当前和未来的需求,提供用户界面、机构所管理的IT基础架构和高性能计算(HPC)服务,以支持大学各部门的研究活动,以及剑桥大学的管理需求评估。并且计划在未来将剑桥大学出版社迁入剑桥评估数据大厅。
多样化的冷却需求
这三个用户群体有不同的要求,需要不同数量的IT负载,为了提供深入研究为基础的数据处理服务,其IT负载从每机架3.5kW低功率密度到每机架30kW高功率密度不等。传统的设计方法会为了三个主要类型的IT负载使用三个独立的数据中心设施,但该数据中心采用新兴技术,使这些能够在一个单一的系统使用。
“早期的设计决定了ASHRAEA2对所有三种类型用户有着提供冷却的潜力,这取决于高效的设计。”大学信息服务(UIS)部门主管马丁·贝拉米在有关网站发表文章中表示。低密度区使用热通道气流遏制系统和普通计算机房空气处理系统(CRAH),而对于具有较高的IT密度的高性能计算领域,则采用背机架背靠背的冷却系统。
该数据中心设施利用一个单一的冷却系统,采用来自外部空气(100%自然冷却系统)进行冷却。大学信息服务(UIS)部门指出,一些数据中心这么做会被人们认为这是一个勇敢的决定,但该系统的好处将远远大于风险。“我们对许多冷却技术和方法进行了探讨,其中包括全空气间接蒸发系统。”UIS部门表示,“为了达到剑桥大学的目标,很明显,我们的数据中心的解决方案需要超越采用全空气蒸发冷却的能力。”
该系统采用冷却水而不是采用压缩机冷却,蒸发冷却的所有好处是不使用冷却器。为了满足HPC用户的需求,冷却水通过back-of-rack机架冷却系统进行冷却。该系统采用的是当地供应商Coldlogik公司的设备,并经过测试之后选择的。
该冷却系统采用了冷却水温度浮动与控制系统,将数据中心的工作温度保持在最有效的设置值,同时将供气温度保持在ASHRAE容许范围内。按照最新的ASHRAE建议,数据中心温度可以推荐的范围上下浮动1-2度。剑桥大学坚持使用水冷空压机系统,即使是高性能计算负载。当外面的空气太热的时候,传统数据中心将需要DX压缩机进行冷却。
该系统将在炎热的时段使用更多的电力,因为使用大量的风扇降温,但这已经在设计考虑到了。
该数据中心采用艾默生TrellisDCIM解决方案进行管理。
两个POP和双电源
该中心有两个独立的通信路由存在点(POP),并具有来自英国电力网络的两个单独的变电站11000V的双路电源,并配备一个3150kVA变压器。该数据中心已经其供应商获得了2200kVA的初始容量,另外还可以增加3000kVA。
其备用电源来自三个容量为1100kVA发电机组,采用的是N+1配置,因此只需要两台发电机就可以提供足够的备用电源。部署的发电机组有足够的燃料,可以运行72小时。该冷却系统也采用了N+1冗余配置:有三个混合冷却塔,只有其中只需要两个正常运行就可。
数据中心供电系统采用三台1000kVA的模块化UPS(配置为n+1),每一个都具有5个智能控制的200kVA功率模块,其电源效率达到了98%。有两个单独的A和B馈送给每个机柜,并通过架空轨道母线系统交付的智能计量柜电源插板。
数据中心的四个数据大厅
该数据中心是一个新的两层楼,有四个数据大厅。1号大厅容纳的是HPC系统,具有900kW的高密度IT负载,多达96机柜;2号大厅为剑桥大学评估需求的201kW负载;而3号大厅则是容量为240kW的大学信息服务UIS部门的服务器。4号大厅没有部署设备,计划在未来的增长时可以添加40个到50个机架。
这个建筑还建设了一个操作室,安全办公室和会议室的空间。房屋内具有全天候安全保障,具有广泛的内部和外部的视频监控。访问数据的大厅由“星际迷航”一样的防尾随的门禁控制,并在地板上部署内置秤。一旦有人员出现在数据大厅,智能钥匙柜将会监控和控制所使用人的钥匙。
总体而言,该数据中心的能源使用效率(PUE)预计为1.2,其PUE接近像谷歌公司和Facebook公司这样的整体网络规模的供应商。这与以前的数据中心相比,有了很大的改善了,并降低了剑桥大学10的%碳排放量。
用户验收
为了获得成功,数据中心必须说服潜在的用户:每个大学的部门(物理、化学等)仍然可以自由地运行自己的服务器,但他们都将工作负载迁移到共享数据中心,以节省资金,并得到改进服务。九个月后,该数据中心被加载到26%的容量,其计算出的能源帐单将每年节约一百万英镑,并减少了40%的碳排放量。
获得该项目的中央资金可能是一个挑战,但该团队使用所设计的效率水平证明,搬迁设备到数据中心,其节省的水电费相当于或略高于数据中心的运行成本。而剑桥大学数据中心净成本实际上为零,而数据中心也有显著扩张潜力。例如在HPC领域,相比以前的空间,HPC的处理能力提高了300%。
除了节省电力,各个相关部门也可以腾出空间。他们以前进行数据处理的空间,可以更多地提供给教学或进行更多的研究,这增加了额外的效益。
尽管如此,一些潜在的用户们关注其增加的工作温度可能会导致硬件的故障率增加,但UIS部门提供了可靠数据,证明了其硬件可靠性的降低影响可以忽略不计。
剑桥大学认为,在选择了水冷空压机系统之后,并完全遵循ASHRAE指导方针,未来的IT系统将会有足够的信心应对业务。
数据中心经理伊恩·塔斯克说:“西剑桥数据中心项目为剑桥大学引进了一个最新的节能技术,其成功应用将会被其他高等教育机构效仿。”
本文转自d1net(转载)