开发者社区> 场景研读> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

云场景实践研究第23期:掌慧纵盈

简介: 2016年,掌慧纵盈通过阿里云产品,率先构建了业界领先的大数据平台。本文将具体分析掌慧纵盈如何选择阿里云E-MapReduce等产品来满足需求和相应业务架构的实现。
+关注继续查看
更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽
借助“互联网+大数据+机场”三轮驱动,掌慧纵盈每年为6.4亿人次出行提供无线网络连接服务。随着业务的拓展,随之后来的挑战是数据量的暴增。2016年,掌慧纵盈通过阿里云产品,率先构建了业界领先的大数据平台。本文将具体分析掌慧纵盈如何选择阿里云E-MapReduce等产品来满足需求以及相应业务架构的实现。
“综合考察国内的云服务提供商,我们选择了阿里云,尤其是其E-MapReduce产品,购买之后,集群马上就创建好,Hive, Spark, HBase等开源大数据组件即刻可用。
——艾佳
掌慧纵盈科技股份有限公司大数据平台架构师

采用的阿里云产品
  • 阿里云 E-MapReduce
  • 阿里云对象存储  OSS
  • 阿里云云服务器 ECS
  • 阿里云日志服务 Log Service
  • 阿里云消息队列 MQ
  • 阿里云负载均衡 SLB
  • 阿里云大数据计算服务 MaxCompute

为什么使用阿里云
希望通过云平台将基础设施安装运维外包。
大数据技术日新月异,希望组件版本能够及时更新。
外部商业环境迅速变化,希望计算资源可以动态增减,以节约成本。
希望以较低的成本获取相对专业的安全服务。
尽量使用开源组件,方便整体输出。

关于掌慧纵盈
掌慧纵盈是中国领先的全球数据网络服务商,2009年成立于北京,是集智能硬件、云平台、精准广告营销、商业大数据应用、全球数据漫游于一体的生态型移动互联网企业。掌慧纵盈以“联接能力”为核心,致力于为全球用户提供便捷、安全、稳定的无线网络服务;为行业伙伴输出高效的经营能力;为企业提供基于场景化的大数据营销解决方案。

为什么选择阿里云?

掌慧纵盈上云之路
综合考察国内的云服务提供商,掌慧纵盈选择了阿里云,尤其是其E-MapReduce产品,购买之后,集群马上就创建好了,Hive, Spark, HBase等开源大数据组件即刻可用。

3b7f8bec9c8b1099f0186e8772a3a38927073ee0

首先在数据存储引擎上,以存储25TB的数据为基准,考察各个选项的性能和价格。从上图可以看出,针对离线分析来说,如果想用开源组件,可以考虑Hive on OSS的模式,来存储近一年的数据。针对在线分析的场景,使用HBase存储近三个月的数据,可以获得很高的性价比,这个方案可以多表联查,但是SQL的响应对场景敏感,不同复杂度的SQL响应时间是不一样的。如果希望响应时间恒定,可以考虑基于索引的方案,即日志服务,缺点就是不能多表联查;如果想使用开源组件,可以自行在ECS上搭建ELK

3f328da941d1250abd51cc591622fc554c17b4ca

接下来在查询引擎选择上,掌慧纵盈使用一个基准SQL,方便对其响应时间进行横向对比,基准SQL如上图所示,结论是使用Phoenix基于HBase进行交互式查询,可以获得很满意的响应周期。

22f93046eb07bc3058ce63740fe8a8ff02ef386f

大数据平台的技术架构概览上图所示,图中几乎所有的服务和功能都是通过阿里云产品来实现的,其中开发测试环境也是基于阿里云的ECS搭建的。从图中可以看出,我们并不需要关心机房的电源、网络、虚拟化、硬盘更换等一系列基础设施问题,直接基于云平台,专注于我们自己的业务。

一般人我不告诉他(她)——阿里云产品的使用心得

E-MapReduce
阿里云的E-MapReduce是掌慧纵盈大数据平台的核心产品,其涵盖了Hive, Spark, HBase, Storm等大数据领域核心的开源组件,还有Phoenix, Presto等业界前沿的查询引擎,其Zeppelin, Hue等交互组件也是开箱即用。

E-MapReduce所用的机器配置都很高,用来存储数据就可惜了,数据可以存储在OSS上,使用Hive加载即可。不过要使用HBase还是要把数据存到E-MapReduce上,一但放到E-MapReduce上,这个集群就不能随意销毁了。所以,我们实践当中将数据集群和计算集群分开,计算集群可以随时销毁和升级,数据集群需要长期稳定提供服务。这两种的集群配置也是不一样的,计算集群用SSD,主攻“快”,数据集群(HBase)用高效云盘,主攻“大”。

工单管理
使用阿里的云服务,最吸引人的就是工单服务。由于我们的运维团队会经常遇到复杂且需要紧迫解决的问题,团队成员可以直接通过工单请求阿里的工程师协助解决。沟通问题的过程也是我们学习的过程,我们向阿里云服务的工程师们学到了不少的东西。

软件视图
基于技术概览,掌慧纵盈技术架构中的软件视图如下所示:

2852b934d13c8cc287a1f672dab48dea71b6f18f

为了管理方便,掌慧纵盈将所有ECS都去掉了外网带宽,统一走SLB,共享SLB的外网带宽,包括SSH等所有应用的端口都是用SLB转发。SLB带宽不受限制,速度上来了,成本下来了。掌慧纵盈采用包月加自动续费的模式,随时增减机器,随时增配减配。ONS即阿里的日志服务,阿里内部叫MQ,其响应时间很快,吞吐量很大,可以应用于实时性非常高的场景,例如实时竞价。Log Service包含Logtail,LogStore, LogHub,LogShipper和LogSearch服务,其中日志投递(LogShipper)功能很有用,可以自动将采集的日志投递到OSS,这样就可以直接使用Hive加载了,不过目前只支持json格式。目前E-MapReduce已经提供了Storm组件,想要使用此组件,有两个选择:从日志服务消费;或者通过引导操作在E-MapReduce上安装Kafka,支持增加节点OSS主要用于存储,与E-MapReduce结合,实现了计算与存储的分离。Zeppelin可以通过Web的形式使用HiveQL, SparkSQL, Phoenix, Presto等对数据进行探索式和交互式的查询,而无需编程和登录SSH,并且可以保存过往的查询,还可以形成简单的柱状图饼图。

原文发布日期:2016-12-29
云栖社区场景研究小组成员:丁匀泰,仲浩。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
云场景实践研究第22期:泰为
作为全球无线位置领域领跑者之一的泰为,通过基于阿里云EMR,实现了弹性调整集群规模、保证可靠性、可用性、用户作业信息安全性,SLA上升为99.999%,并且减少了企业运维的维护成本。本文将具体分析泰为ETL在阿里云EMR数据处理流程和数据准确性校验的探索与实践过程。
1686 0
云场景实践研究第89期:中信集团
中信云平台从立项到上线仅用了1个月,用户数从0发展到13万仅用了5个月。快,是中信2016年的工作总结重要的一项。如今,中信集团正在通过云计算、大数据、人工智能等技术实现互联互通的数字化建设,并通过数字化实现业务转型,找到新价值定位,形成新商业模式。
2890 0
云场景实践研究第9期:小咖秀
具有千万用户的爆款APP小咖秀在最初就是基于阿里云搭建而成,从开始的一台云服务器扩展到现在的接近一百台服务器的规模,而专职运维人员却很少,这是因为其系统级别的监控使用自己搭建的监控平台,而服务方面则依赖于阿里云的成熟的云监控。
2003 0
云场景实践研究第80期:华大基因
作为全球最大的基因组学研究中心,华大基因在阿里云的帮助下,实现了海量数据的及时获取、快速分析、安全储存。本文将带领大家一同了解华大基因的基于大数据分析的云计算实践之路。
4109 0
云场景实践研究第59期:饿了么
饿了么日订单从几十万增长到一百万,又从一百万增长到三百万,接着到2016年圣诞节的九百万。至今天,其订单量仅次于淘宝和滴滴,与美团不相上下。亮眼数字背后,技术团队背负的技术压力可想而知。作为创业公司,时间对饿了么来说更为宝贵,尤其是还处在一个业务快速上升期的创业公司。
2841 0
云场景实践研究第26期:基云惠康
作为首家将基因数据分析业务部署到阿里云上的公司,基云惠康通过使用批量计算服务,最终使成本控制在了两位数,比最开始节省了近90%的成本。本文将从数据分析与解读流程的角度,带领大家了解基云惠康如何借助阿里云的力量降低数据分析成本。
2049 0
云场景实践研究第6期:游族网络
对于游戏行业的运维而言,在扩展或者迁移的过程中,数据的备份和恢复也显得尤为重要。游族网路将自己的ALL IN ONE架构也迁移到阿里云上,整个过程不仅非常平滑,而且保证了尽可能低的停服时间。
3583 0
云场景实践研究第18期:学霸君
作为在线教育平台,学霸君选择阿里云的容器方案来实现运维的自动化 。本文站在运维的角度,介绍了学霸君如何落地实施基于微服务和容器的云上系统 。
1720 0
云场景实践研究第8期:空格APP
在空格初始创业阶段,人员十分缺乏,但依靠着阿里云,空格只用两周便实现APP上线,并且空格APP上线仅仅60天就获得1亿A轮融资。空格APP充分利用了阿里云的能力,在搜索、推荐和数据挖掘业务场景下的开展了探索实践。
2401 0
云场景实践研究第7期:驴妈妈旅游网
随着业务的飞速发展,数据量和并发量高速增加,驴妈妈整体系统在根据业务量进行垂直拆分的情况下,同时对较长的流程进行水平拆分,并提供分布式部署,能实现日处理数万个订单;目前采用阿里云服务器、弹性计算,完成向云上架构转变,实现日处理数十万单甚至百万单业务量。
2352 0
+关注
场景研读
技术学习永无止境
文章
问答
文章排行榜
最热
最新
相关电子书
更多
代码大数据分析研究与实践
立即下载
飞天大数据&AI产品手册
立即下载
阿里云总监课第五期第六节:研发挑战 - 研发过程中挑战
立即下载