Facebook公开服务器设计 数据服务行业面临洗牌

简介: 惠普、戴尔和思科等这样的计算机行业巨头每年会销售1000亿美元的硬件,包括服务器、储存、网络产品等。如果把安全服务、数据分析系统和相关软件的销售额计算在内,那这个数字远不止这个。所以你可以理解,在看到Facebook公开更高效且免费的设备结构设计时,这些公司感受到的最直接的威胁。
0.jpg

惠普、戴尔和思科等这样的计算机行业巨头每年会销售1000亿美元的硬件,包括服务器、储存、网络产品等。如果把安全服务、数据分析系统和相关软件的销售额计算在内,那这个数字远不止这个。所以你可以理解,在看到Facebook公开更高效且免费的设备结构设计时,这些公司感受到的最直接的威胁。

戴尔和惠普出售数据管理设备和服务,或通过云服务把它们租出去。在Facebook公布其数据中心的设计之后,任何人都可以复制这种模式,绕过美国的服务器提供商,使用成本低的亚洲供应商,并最终构建起自己需要的系统。

通常情况下,互联网企业会直接去购买服务器,但Facebook却喜欢DIY。它通过设计自己的系统和外包基建项目来建立自己的服务系统。2011年4月,作为其“开放计算项目”(Open Compute Project)的一部分,这家社交网络公司发布了一部分服务系统硬件设计蓝图——其他公司的工程师可以按照这个蓝图搭载起自己的系统。现在,这个开源项目激起了数据服务行业十多年来最大的转变。安德森·霍洛维茨风险投资公司(Andreessen Horowitz)合伙人之一彼得·莱文(Peter Levine)表示:“数据服务行业正在发生翻天覆地的变化。这意思是说,数百亿美元,甚至上万亿美元的收益将从传统行业巨头那里流转至使用类似Facebook技术的新晋公司。”(拥有《彭博商业周刊》的彭博资讯是安德森·霍洛维茨风投公司的投资者之一。)

Facebook的开源试验中心位于北极圈以南100公里的瑞典吕勒奥镇(Lule□)边沿的森林中,于今年6月份向外界公开。这个巨大的数据中心是Facebook在美国本土之外建立的第一座数据中心,也是Facebook在欧洲最大的数据中心。它由数以千计的矩形金属板组成,看起来就像一个外表不规则的飞船。以所有公开的标准来衡量,它是有史以来最高效节能的计算设施。这个庞然大物帮助Facebook每天处理3.5亿张照片、45亿个“赞”和100亿条消息。一般来说,普通的数据中心要消耗3瓦特的能量用于电力和冷却,才能产生1瓦特用于计算。相比之下,吕勒奥镇数据中心的这个比率仅为1.04:1,比一般数据中心环保三倍左右。服务器制造商Rackable Systems前首席执行官汤姆·巴顿(Tom Barton)指出:“Facebook的开源项目给硬件市场带来了戏剧性的影响,行业内的每个竞争者都感觉到压力。”

数据中心的选址与系统的效率有很大的关系。瑞典拥有大量的、廉价的和可靠的电力能源,由无数的水电大坝提供。同样重要的是,Facebook设计过的数据中心能充分利用瑞典的寒冷气候。Facebook不是依靠巨大的空调机组和强大的电力系统来冷却其数万台发热的电脑,而是天然的冷空气。被过滤器和雾化器处理后,从外界进来的冷空气会像水一样“冲洗”服务器。与传统的仓储式服务器场不同的是,吕勒奥镇的数据中心像一个一体设备一样运作。

为了简化其服务器(这些服务器主要被用来创建网页),Facebook的工程师去除了许多典型的组件,比如额外的内存插槽、电缆和塑料保护包装。服务器基本上就是一个简装和外露的主板,被放置在冰箱大小的机架上。工程师解释说,这种设计的目的是让通风效果更好。基于这种服务器架构的系统需要的冷却也更少。由于多余的组件被拆掉了,服务器可以在高达85华氏度的环境中工作(大多数服务器在75华氏度的时候都会挂掉)。

当Facebook开始勾勒其想法的时候,传统的数据专家们持怀疑态度。弗兰克·弗兰科夫斯基(Frank Frankovsky)是Facebook硬件设计和供应链业务副总裁,也是“开放计算项目”的牵头人。他指出:“一般数据中心的温度为60或65华氏度,并且有每小时35英里的阵风通过。”更高效的设计使Facebook大方地将其数据中心安置在北极附近。Facebook将在美国的爱荷华州建立起一个类似的数据中心——该州有廉价的风电。该公司也已开始设计它自己的存储和网络系统。弗兰科夫斯基表示,硬件供应商很惊讶,他们的反应是“噢,我的天哪,你偷了我的奶酪”。

面对Facebook的开源项目,惠普已经出作应对,并发布了一个名为Moonshot的服务器和和网络系统——使用非常低功耗芯片。惠普表示,这是该公司近几年来在数据服务上最激进的发展。惠普也在通过水冷却来提高服务器效率。该公司很坦率地面对Facebook的开放设计项目。惠普副总裁保罗·桑德勒(Paul Santeler)说:“我认为,‘开放计算项目’让我们变得更好。Facebook的所作所为令人吃惊,但是我们的反应也非常迅速。”

相比之下,思科淡化“开放计算项目”带来的威胁。思科发言人大卫·麦卡洛克(David McCulloch)说:“很少有公司会购买这种专门用于消费者网络公司的系统。从大局来看,我们认为这个趋势对思科无多害处。”戴尔则于六年前成立了一个特别的小组,专门向消费者网络公司出售廉价的系统。从那以后,戴尔年收入的增长率都在10%以上。戴尔数据中心解决方案的执行董事 德鲁·舒尔克(Drew Schulke)表示:“可以肯定的是,我们不像要被迫停业的公司。”

谷歌和亚马逊对定制的硬件设计一直讳莫如深,而Facebook的开放性让非互联网公司也产生了兴趣。Facebook已经公开了一个“路线图”——任何一家公司只要有足够的时间和金钱,就可以按照这个路线图一步一步建立起自己最先进的数据中心。英特尔和高盛的高管已经加入了“开放计算项目”的基金——这是一个由弗兰科夫斯基主持的501(c)(6)免税组织。台湾硬件厂商,如广达电脑和泰安电脑,已经开始销售基于开放计算设计的系统。Facebook吕勒奥镇的数据中心可能要花费3亿美元才能建立起来,这个规模不是一般的公司可以支撑的。但是,它们可以利用更便宜更节能的设备。

多年来,华尔街也试图推动主流硬件制造商提供更简单更便宜的系统。然而,富达投资(Fidelity Investments)执行副总裁乔治·布雷迪(George Brady)说,这些公司没有足够的采购影响力。富达投资已经购买了基于“开放计算项目”的系统。“我们有数万台服务器,而谷歌和Facebook有数百万台服务器。”不过,现在富达投资也能在美国内布拉斯加州奥马哈市建立起自己的数据中心——那里的土地和能源更便宜。布雷迪说:Facebook帮助我们搞明白了这些组件。这就像100年前汽车装配生产线的行为一样,在宏大的工业运动之下找出基本的原则。”


原文发布时间为:2013-10-10


本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关文章
|
1月前
|
数据采集 机器学习/深度学习 Java
数据猎手:使用Java和Apache HttpComponents库下载Facebook图像
本文介绍了如何使用Java和Apache HttpComponents库从Facebook获取图像数据。通过设置爬虫代理IP以避免限制,利用HttpClient发送请求,解析HTML找到图像链接,然后下载并保存图片。提供的Java代码示例展示了实现过程,包括创建代理配置、线程池,以及下载图片的逻辑。注意,实际应用需根据Facebook页面结构进行调整。
数据猎手:使用Java和Apache HttpComponents库下载Facebook图像
|
机器学习/深度学习 人工智能 算法
50万美元冠军成绩被莫名取消,Facebook热门数据竞赛引争议
Facebook AI 团队今天宣布了首个 Deepfake 检测挑战赛(DFDC)的结果,第一名算法的识别准确率达 82.56%。然而比结果更加耐人寻味的是,原本获得头名的团队成绩被取消了。
186 0
50万美元冠军成绩被莫名取消,Facebook热门数据竞赛引争议
|
监控 安全 数据挖掘
苹果封杀谷歌、Facebook:科技巨头涉嫌收集用户隐私数据
在封杀了 Facebook 之后,昨天苹果又宣布关闭谷歌的内部 iOS 应用分发权限。目前测试版本的谷歌地图、环聊(Hangouts)、Gmail 等程序已经无法在苹果手机上运行了,此外那些只对谷歌员工开放的内部应用程序,如用来坐班车的 Gbus 和点餐 app 也已无法使用。
154 0
苹果封杀谷歌、Facebook:科技巨头涉嫌收集用户隐私数据
|
安全 数据安全/隐私保护 开发者
Facebook采用加密措施防止出现数据泄漏
北京时间10月24日,据国外媒体报道,为了减轻最近发现的安全问题,Facebook宣布允许开发者处理用户信息。Facebook工程师Mike Vernal在公司的开发者博客中说,Facebook开始使用加密工具来处理第三方应用程序中的用户ID信息。
1163 0
Facebook“背锅”,第三方公司泄露5.4 亿条Facebook数据
Facebook需要保护第三方抓取数据的安全吗?
428 0
「镁客早报」Facebook再曝数据漏洞;分析师预测谷歌亚马逊明年将推出AirPods竞品
因为一个漏洞,Facebook上有680万用户的私人照片被暴露给不应该看到它们的应用程序。
386 0
【数据通天塔来了】谷歌、Facebook、微软、推特四巨头联手,打通全球数据壁垒!
今天,谷歌、Facebook、微软和Twitter四大互联网巨头联手宣布了一个“数据传输大计”,旨在号召不同平台间数据的无障碍传输。可移植性和互操作性是云技术创新和竞争的核心,如果真能得以实现,这无疑是一个伟大历程的开端!
1697 0
|
开发者
Facebook 被指收集用户数据:通过照片和文本
北京时间5月25日消息,在加利福尼亚州进行的对Facebook泄露用户信息一案中,法院对Facebook提起一项新的诉讼,指控该公司通过App收集了用户及他们朋友的信息。 上周向加利福尼亚州圣马特奥市高级法院提起的该项诉讼是2015年由现已停止运营的创业公司Six4Three向Facebook提起诉讼的一部分。
1087 0