MercadoLibre用OpenStack推云存储业务

本文涉及的产品
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
对象存储 OSS,标准 - 同城冗余存储 20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介:

本文讲的是MercadoLibre用OpenStack推云存储业务,迁移至实现授权雇员管理存储器、服务器以及网络资源的私有云计算基础设施并不是一件小事。本文中,我们将介绍拉美电子商务专家Mercadolibre公司。

  位于阿根廷部布宜诺斯艾利斯的公司(该公司在14个国家提供了类似于eBay公司的服务,并将eBay公司作为其投资人之一)在过去一年中一直致力于公司自己的开源云计算存储项目——这是一个使用由Rackspace托管公司和NASA建立的OpenStack社区提供的开源软件(OSS)的私有云计算基础设施。

  该项目团队可能再需要一年或更多的时间来微调和完成基础设施即服务(IaaS)模式的转换工作,希望能够实现更快的IT资源交付并帮助公司的开发人员为其网站更快地进行功能与应用程序更新。

  对于我们来说,最困难的事情是改变整个公司已习惯的业务流程;例如,请求服务器、运行一个应用程序或允许基于品质保证的测试工作,“MercadoLibre公司的高级基础设施工程师Leandro Reox说。

  直至去年年初的时候,IT基础设施团队已经认识到,它根本无法简单快速的提供服务器以满足公司开发人员和内部客户的要求 。规模扩张问题还涉及到基于NFS的NetApp FAS6280和FAS6080。

  实施一个基于服务的私有云计算将产生近乎实时的影响。在实施私有云计算之前,系统管理员们可在18月的时间里交付近2000台虚拟机。自从去年八月提供自助部署选项以来,基础设施团队坐观虚拟机数量增至6000台,Reox说。

  但是,虚拟机交付只是众多问题拼图中的一块。当MercadoLibre公司实施其开源云计算存储项目时, 它希望涉及其基础设施的每个部分,其中包括存储系统和数据库,以及通过私有云计算和公共云计算资源实现的服务。其视野也扩展到使用应用程序,或至少包括他们的前端,以便于在那些由Amazon.com或Rackspace公司运行的公共云计算上运行。

  仅仅为了一次营销活动,我们的业务增加就如同一个怪物一般,因此我们必须准备自动扩展规模,而应用程序架构的改变也赋予了我们以稳定的方式更快扩展规模的能力,“Reox说。

  新方法是存储基础设施发展的必然结果。为了弥补网络附加存储(NAS)和网络文件系统(NFS)规模扩展的限制,项目团队决定为其网站及其他静态信息的客户提供产品实施更具扩展能力的对象存储。他们还计划通过OpenStack系统上的冗余对象复制从根本上实现自动备份。

  Reox表示MercadoLibre公司出于其主要数据库速度和可靠性的考虑,将对其高端的NetApp FAS6280s和FAS6080s进行从文件到块存储的转换。团队采购NetApp FAS3270s用于虚拟机和MySQL数据库的块存储。开发人员可以编写批处理作业,以实现从NetApp到OpenStack对象存储的任意数据转换。

  为了让应用程序能够在公共云计算上运行,开发人员将需要把应用程序从他们用于数据访问的NAS系统中分离出来。这也就意味着,重写部分代码可实现通过API调用的对象存储系统数据访问。

  到目前为止,MercadoLibre公司使用Amazon的公共云计算只测试了数量有限的前端网络和应用程序服务器。开发人员将在未来几个月的时间里主要从事重新编写代码的工作,Reox说。

  在新模式下,为访问者提供页面访问的前端网络服务器可以在公共云计算上运行,但是通过由互联网URL发布的外部API,他们就可能访问任何他们所需的数据。而运行虚拟机和存储数据的URL则指向私有云计算。

  “我们可以在这个星球的任意位置只使用一个HTTP API调用就检索信息,”Reox说。

  虽然其优势可能巨大,但是其实现过程可能并不顺利。例如,OpenStack的早期发布期间相关文档极度缺乏,MercadoLibre公司的项目团队不得不深入研究代码以便于开发一个自定义API来完成OpenStack服务器集群工作负载平衡的功能。

  Reox表示,目前相关文档已得到了改善;一个OpenStack社区项目正在更新文档。不幸的是,其改善的速度并不能满足部分用户。

  OpenStack证明挑战

  位于美国的Dragon Slayer咨询公司总裁Marc Staimer说,他知道一家金融服务公司在四个月之后就结束了与OpenStack的合作,而另一家关注媒体和娱乐的公司则对OpenStac的文件大小限制感到不满。

  “他们认为,‘我们可以免费提供。’然后,他们在了解之后就变得非常失望,“Staimer说。“实施OpenStack是非常困难的。所有跟我谈论过的人都认为,你需要一些非常有才华的人来来使其高效运行。

  MercadoLibre公司有四个前系统管理员/IT基础设施工作人员开始其私有云计算工作,目前项目中有五人。OpenStack帮助他们提出请求,请他们提供鼎立支持并为开源软件做出贡献。

  “我们热爱开源,”Reox说。

  MercadoLibre公司的高级基础设施工程师Alejandro Comisario说,存储管理员们应当在他们的工作中为重要变更做好准备,甚至学习一些编程技巧,同时开始用新方法思考存储规模扩展问题。

  “还有大量的工作要做,但是实际上它是非常拥去,”Comisario说。“你将会觉得存储的每个块实际上是被更有效地使用,并被更为广泛地提供给每个人。最终,有效负载要多于其付出。”

  到目前为止,MercadoLibre的项目团队已实施了OpenStack软件平台的五个组成部分:“Nova”计算、“Nova”容量块存储、“Swift”对象存储、“Glance”镜像服务以及“Keystone”身份认证服务。(引号中的名称代表了代码名称。)

  在2011年7月,团队开始着手Nova计算软件的工作以便于为公司提供和管理虚拟机,这些虚拟机都在开源XenServer上运行,而Nova容量软件可使虚拟机块存储持久。Reox说,这两个组成部分的服务在8月份都向内部客户开放用以进行自助供应。

  而开发团队在12月开放给开发人员使用的OpenStack对象存储服务使用价格低廉的商品服务器集群以便于存储PB级的一般静态数据。

  “MercadoLibre公司遵循eBay模式,并拥有大量客户上传的临时图像文件。这简直就是为Swift量身定做的完美应用案例。对象存储是专为大批量相对较小文件而设计的,“位于波士顿云计算技术伙伴公司(CloudTP)的高级云计算架构师Beth Cohen说。CloudTP是Rackspace的合作伙伴,旨在帮助公司用户实施开源云计算解决方案,如基于OpenStack的Rackspace云计算:私有版。

  OpenStack Glance镜像服务存储MercadoLibre公司已定义的虚拟机镜像。开发人员查看现有镜像并选择其中最合适的,例如为MySQL数据选择一个Red Hat Linux镜像,或为Apache Tomcat服务器选择一个Ubuntu镜像。

  MercadoLibre公司还在去年年底花费了若干天用于实施Keystone身份认证服务,该服务处理访问资源与服务的认证和用户权限任务。例如,一个用户可能被允许访问对象存储服务,而不被允许创建一个虚拟服务器实例。

  Comisario表示,MercadoLibre公司自从启动OpenStack以来从未经历过重大中断事件。但是他知道,如果代理服务器上的身份验证服务发生故障,存储访问被中断,那么公司需要对此做出快速响应。

  “你知道的,它总是会在某个时候发生故障的”,他说。“你必须尽可能快地进行恢复。”

  2012年MercadoLibre公司计划在惠普公司服务器完全到位后把Swift对象存储进行全面投产。项目团队还计划使用OpenStack量子网络管理器和Melange IP地址管理实现网络层的虚拟化。

  目前,MercadoLibre公司使用光纤通道连接其NetApp设备和核心交换机,以及边缘交换机和核心交换机。在它的数据库服务器和交换机之间,它还拥有10G的以太网连接,而在动态链接聚合模式中是2Gbps。

  “也许在2013年年底,我们有望实现我们的私有云计算。我们正在快速而全力以赴地为这个目标而工作着,“Comisario说。“但是,我们为我们今天所取得的成绩而感到由衷的高兴。”

原文发布时间为:2012-05-29

本文作者:滕晓龙

本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168


相关文章
|
5天前
|
搜索推荐 编译器 Linux
一个可用于企业开发及通用跨平台的Makefile文件
一款适用于企业级开发的通用跨平台Makefile,支持C/C++混合编译、多目标输出(可执行文件、静态/动态库)、Release/Debug版本管理。配置简洁,仅需修改带`MF_CONFIGURE_`前缀的变量,支持脚本化配置与子Makefile管理,具备完善日志、错误提示和跨平台兼容性,附详细文档与示例,便于学习与集成。
306 116
|
20天前
|
域名解析 人工智能
【实操攻略】手把手教学,免费领取.CN域名
即日起至2025年12月31日,购买万小智AI建站或云·企业官网,每单可免费领1个.CN域名首年!跟我了解领取攻略吧~
|
7天前
|
数据采集 人工智能 自然语言处理
Meta SAM3开源:让图像分割,听懂你的话
Meta发布并开源SAM 3,首个支持文本或视觉提示的统一图像视频分割模型,可精准分割“红色条纹伞”等开放词汇概念,覆盖400万独特概念,性能达人类水平75%–80%,推动视觉分割新突破。
504 45
Meta SAM3开源:让图像分割,听懂你的话
|
14天前
|
安全 Java Android开发
深度解析 Android 崩溃捕获原理及从崩溃到归因的闭环实践
崩溃堆栈全是 a.b.c?Native 错误查不到行号?本文详解 Android 崩溃采集全链路原理,教你如何把“天书”变“说明书”。RUM SDK 已支持一键接入。
695 222
|
2天前
|
Windows
dll错误修复 ,可指定下载dll,regsvr32等
dll错误修复 ,可指定下载dll,regsvr32等
137 95
|
12天前
|
人工智能 移动开发 自然语言处理
2025最新HTML静态网页制作工具推荐:10款免费在线生成器小白也能5分钟上手
晓猛团队精选2025年10款真正免费、无需编程的在线HTML建站工具,涵盖AI生成、拖拽编辑、设计稿转代码等多种类型,均支持浏览器直接使用、快速出图与文件导出,特别适合零基础用户快速搭建个人网站、落地页或企业官网。
1711 158
|
存储 人工智能 监控
从代码生成到自主决策:打造一个Coding驱动的“自我编程”Agent
本文介绍了一种基于LLM的“自我编程”Agent系统,通过代码驱动实现复杂逻辑。该Agent以Python为执行引擎,结合Py4j实现Java与Python交互,支持多工具调用、记忆分层与上下文工程,具备感知、认知、表达、自我评估等能力模块,目标是打造可进化的“1.5线”智能助手。
953 62