MercadoLibre用OpenStack推云存储业务

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

本文讲的是MercadoLibre用OpenStack推云存储业务,迁移至实现授权雇员管理存储器、服务器以及网络资源的私有云计算基础设施并不是一件小事。本文中,我们将介绍拉美电子商务专家Mercadolibre公司。

  位于阿根廷部布宜诺斯艾利斯的公司(该公司在14个国家提供了类似于eBay公司的服务,并将eBay公司作为其投资人之一)在过去一年中一直致力于公司自己的开源云计算存储项目——这是一个使用由Rackspace托管公司和NASA建立的OpenStack社区提供的开源软件(OSS)的私有云计算基础设施。

  该项目团队可能再需要一年或更多的时间来微调和完成基础设施即服务(IaaS)模式的转换工作,希望能够实现更快的IT资源交付并帮助公司的开发人员为其网站更快地进行功能与应用程序更新。

  对于我们来说,最困难的事情是改变整个公司已习惯的业务流程;例如,请求服务器、运行一个应用程序或允许基于品质保证的测试工作,“MercadoLibre公司的高级基础设施工程师Leandro Reox说。

  直至去年年初的时候,IT基础设施团队已经认识到,它根本无法简单快速的提供服务器以满足公司开发人员和内部客户的要求 。规模扩张问题还涉及到基于NFS的NetApp FAS6280和FAS6080。

  实施一个基于服务的私有云计算将产生近乎实时的影响。在实施私有云计算之前,系统管理员们可在18月的时间里交付近2000台虚拟机。自从去年八月提供自助部署选项以来,基础设施团队坐观虚拟机数量增至6000台,Reox说。

  但是,虚拟机交付只是众多问题拼图中的一块。当MercadoLibre公司实施其开源云计算存储项目时, 它希望涉及其基础设施的每个部分,其中包括存储系统和数据库,以及通过私有云计算和公共云计算资源实现的服务。其视野也扩展到使用应用程序,或至少包括他们的前端,以便于在那些由Amazon.com或Rackspace公司运行的公共云计算上运行。

  仅仅为了一次营销活动,我们的业务增加就如同一个怪物一般,因此我们必须准备自动扩展规模,而应用程序架构的改变也赋予了我们以稳定的方式更快扩展规模的能力,“Reox说。

  新方法是存储基础设施发展的必然结果。为了弥补网络附加存储(NAS)和网络文件系统(NFS)规模扩展的限制,项目团队决定为其网站及其他静态信息的客户提供产品实施更具扩展能力的对象存储。他们还计划通过OpenStack系统上的冗余对象复制从根本上实现自动备份。

  Reox表示MercadoLibre公司出于其主要数据库速度和可靠性的考虑,将对其高端的NetApp FAS6280s和FAS6080s进行从文件到块存储的转换。团队采购NetApp FAS3270s用于虚拟机和MySQL数据库的块存储。开发人员可以编写批处理作业,以实现从NetApp到OpenStack对象存储的任意数据转换。

  为了让应用程序能够在公共云计算上运行,开发人员将需要把应用程序从他们用于数据访问的NAS系统中分离出来。这也就意味着,重写部分代码可实现通过API调用的对象存储系统数据访问。

  到目前为止,MercadoLibre公司使用Amazon的公共云计算只测试了数量有限的前端网络和应用程序服务器。开发人员将在未来几个月的时间里主要从事重新编写代码的工作,Reox说。

  在新模式下,为访问者提供页面访问的前端网络服务器可以在公共云计算上运行,但是通过由互联网URL发布的外部API,他们就可能访问任何他们所需的数据。而运行虚拟机和存储数据的URL则指向私有云计算。

  “我们可以在这个星球的任意位置只使用一个HTTP API调用就检索信息,”Reox说。

  虽然其优势可能巨大,但是其实现过程可能并不顺利。例如,OpenStack的早期发布期间相关文档极度缺乏,MercadoLibre公司的项目团队不得不深入研究代码以便于开发一个自定义API来完成OpenStack服务器集群工作负载平衡的功能。

  Reox表示,目前相关文档已得到了改善;一个OpenStack社区项目正在更新文档。不幸的是,其改善的速度并不能满足部分用户。

  OpenStack证明挑战

  位于美国的Dragon Slayer咨询公司总裁Marc Staimer说,他知道一家金融服务公司在四个月之后就结束了与OpenStack的合作,而另一家关注媒体和娱乐的公司则对OpenStac的文件大小限制感到不满。

  “他们认为,‘我们可以免费提供。’然后,他们在了解之后就变得非常失望,“Staimer说。“实施OpenStack是非常困难的。所有跟我谈论过的人都认为,你需要一些非常有才华的人来来使其高效运行。

  MercadoLibre公司有四个前系统管理员/IT基础设施工作人员开始其私有云计算工作,目前项目中有五人。OpenStack帮助他们提出请求,请他们提供鼎立支持并为开源软件做出贡献。

  “我们热爱开源,”Reox说。

  MercadoLibre公司的高级基础设施工程师Alejandro Comisario说,存储管理员们应当在他们的工作中为重要变更做好准备,甚至学习一些编程技巧,同时开始用新方法思考存储规模扩展问题。

  “还有大量的工作要做,但是实际上它是非常拥去,”Comisario说。“你将会觉得存储的每个块实际上是被更有效地使用,并被更为广泛地提供给每个人。最终,有效负载要多于其付出。”

  到目前为止,MercadoLibre的项目团队已实施了OpenStack软件平台的五个组成部分:“Nova”计算、“Nova”容量块存储、“Swift”对象存储、“Glance”镜像服务以及“Keystone”身份认证服务。(引号中的名称代表了代码名称。)

  在2011年7月,团队开始着手Nova计算软件的工作以便于为公司提供和管理虚拟机,这些虚拟机都在开源XenServer上运行,而Nova容量软件可使虚拟机块存储持久。Reox说,这两个组成部分的服务在8月份都向内部客户开放用以进行自助供应。

  而开发团队在12月开放给开发人员使用的OpenStack对象存储服务使用价格低廉的商品服务器集群以便于存储PB级的一般静态数据。

  “MercadoLibre公司遵循eBay模式,并拥有大量客户上传的临时图像文件。这简直就是为Swift量身定做的完美应用案例。对象存储是专为大批量相对较小文件而设计的,“位于波士顿云计算技术伙伴公司(CloudTP)的高级云计算架构师Beth Cohen说。CloudTP是Rackspace的合作伙伴,旨在帮助公司用户实施开源云计算解决方案,如基于OpenStack的Rackspace云计算:私有版。

  OpenStack Glance镜像服务存储MercadoLibre公司已定义的虚拟机镜像。开发人员查看现有镜像并选择其中最合适的,例如为MySQL数据选择一个Red Hat Linux镜像,或为Apache Tomcat服务器选择一个Ubuntu镜像。

  MercadoLibre公司还在去年年底花费了若干天用于实施Keystone身份认证服务,该服务处理访问资源与服务的认证和用户权限任务。例如,一个用户可能被允许访问对象存储服务,而不被允许创建一个虚拟服务器实例。

  Comisario表示,MercadoLibre公司自从启动OpenStack以来从未经历过重大中断事件。但是他知道,如果代理服务器上的身份验证服务发生故障,存储访问被中断,那么公司需要对此做出快速响应。

  “你知道的,它总是会在某个时候发生故障的”,他说。“你必须尽可能快地进行恢复。”

  2012年MercadoLibre公司计划在惠普公司服务器完全到位后把Swift对象存储进行全面投产。项目团队还计划使用OpenStack量子网络管理器和Melange IP地址管理实现网络层的虚拟化。

  目前,MercadoLibre公司使用光纤通道连接其NetApp设备和核心交换机,以及边缘交换机和核心交换机。在它的数据库服务器和交换机之间,它还拥有10G的以太网连接,而在动态链接聚合模式中是2Gbps。

  “也许在2013年年底,我们有望实现我们的私有云计算。我们正在快速而全力以赴地为这个目标而工作着,“Comisario说。“但是,我们为我们今天所取得的成绩而感到由衷的高兴。”

原文发布时间为:2012-05-29

本文作者:滕晓龙

本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168


相关实践学习
基于EBS部署高性能的MySQL服务
如果您通常是通过ECS实例部署MySQL来使用数据库服务,您可以参考本实验操作来搭建高性能的MySQL服务。本实验为您演示如何通过EBS ESSD云盘部署一个高性能的MySQL服务。
相关文章
|
4月前
|
运维 BI
基层医院云HIS系统源码,采用B/S架构云端SaaS服务模式
一款满足基层医院各类业务需要的云HIS系统。该系统能帮助基层医院完成日常各类业务,提供病患挂号支持、病患问诊、电子病历、开药发药、会员管理、统计查询、医生站和护士站等一系列常规功能,还能与公卫、PACS等各类外部系统融合,实现多层机构之间的融合管理。 云HIS系统采用B/S架构云端SaaS服务的方式提供,使用用户通过浏览器即能访问,无需关注系统的部署、维护、升级等问题,系统充分考虑了模板化、配置化、智能化、扩展化等设计方法,覆盖了基层医院的主要工作流程,能够与监管系统有序对接,并能满足未来系统扩展的需要。
|
8月前
|
数据可视化 数据管理 数据挖掘
「数据资源平台」公共云正式商业化发布
数据资源平台产品在 2023年8月31日 正式结束公测开始商业化,通过本文带您快速了解数据资源平台产品的优势和价值,并了解不同版本之间的差异
「数据资源平台」公共云正式商业化发布
|
9月前
|
Kubernetes Cloud Native 应用服务中间件
对比 5 个开源网关项目,这家 SaaS 企业如何统一网关架构
对比 5 个开源网关项目,这家 SaaS 企业如何统一网关架构
44391 10
|
Dragonfly Cloud Native 算法
10 亿月活用户下,快手基于 Dragonfly 的超大规模镜像分发实践
Dragonfly 和 Nydus 都是来自 CNCF 的优秀开源项目,更进一步说,快手也将继续对该项目进行更多投入,并与社区展开深入合作,使它变得更加强大和可持续。云原生技术是基础设施领域的一场革命,尤其是在弹性和无服务器方面,我们相信 Dragonfly 一定会在云原生生态中扮演重要角色。
10 亿月活用户下,快手基于 Dragonfly 的超大规模镜像分发实践
|
消息中间件 缓存 前端开发
手机淘宝轻店业务 Serverless 研发模式升级实践
我们在探索Serverless一体化研发模式的最佳提效实践。
手机淘宝轻店业务 Serverless 研发模式升级实践
|
机器学习/深度学习 人工智能 分布式计算
开放下载!《SaaS模式云数据仓库实践手册》
本书的制作目的在于让MaxCompute帮助企业构建全托管的现代化数仓,简化数据洞察、加速价值实现。
43783 0
开放下载!《SaaS模式云数据仓库实践手册》
|
存储 运维 Cloud Native
除了云端交付、订阅收费,SaaS还有哪些优势?
从SaaS的定义中,我们可以看到SaaS的两大特点:一是交付模式,二是收费模式。
|
弹性计算 运维 数据可视化
阿里云混合云管理平台发布 帮您管好云
略正式发布:全栈建云、智能管云、极致用云。同步发布专有云敏捷版(Apsara Stack Agility)、 混合云管理平台(Apsara Uni-manager)以及下一代企业级一站式DevOps平台“云效”三大新品。阿里云智能资深技术专家王小瑞对混合云管理平台
1447 0
阿里云混合云管理平台发布 帮您管好云
|
数据库 前端开发 CDN
基于阿里云产品的服务器演进-集群
随着公司的发展,用户访问量逐渐增多,应用的增加,通过升级单机配置提升的服务能力越来越低,成本越来越高,需要从整体方案进行优化。
598 0
基于阿里云产品的服务器演进-集群