云场景实践研究第7期:驴妈妈旅游网

简介: 随着业务的飞速发展,数据量和并发量高速增加,驴妈妈整体系统在根据业务量进行垂直拆分的情况下,同时对较长的流程进行水平拆分,并提供分布式部署,能实现日处理数万个订单;目前采用阿里云服务器、弹性计算,完成向云上架构转变,实现日处理数十万单甚至百万单业务量。

更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽

在驴妈妈旅游网成立初期,整体系统最初采用的是ALL IN ONE架构,服务器和数据库数量相对较少,每天处理的订单数仅仅是几百到上千个订单;业务量进一步增长后,整体系统按照业务进一步做垂直拆分,系统容量得到一定的增长,能处理几千个订单;随着业务的飞速发展,数据量和并发量高速增加,整体系统在根据业务量进行垂直拆分的情况下,同时对较长的流程进行水平拆分,并提供分布式部署,能实现日处理数万个订单;目前采用阿里云服务器、弹性计算,完成向云上架构转变,实现日处理数十万单甚至百万单业务量。

“混合云方案极大提高了整体弹性扩展需求,又同时满足了快速发展的业务需求。提高运营对价格的敏感度,满足几百万SKU的数据获取,从而提高了精准的运营能力,并提升了产品竞争力。该系统通过价格趋势,自动计算推荐价格,使运营价格调整更加容易、智能,并且结合外部用户行为数据,进一步完善推荐模型,推荐正在热销、性价比高、用户需要的产品。”

——邵汉成

驴妈妈旅游网技术副总


采用的阿里云产品

  • 阿里云云服务器 ECS

为什么使用阿里云

借助阿里云服务器、弹性计算,可以实现日处理数十万单甚至百万单业务量


关于 驴妈妈旅游网

驴妈妈旅游网:作为中国知名综合性旅游网站、自助游领军品牌、中国景区门票在线预订模式的开创者,驴妈妈旅游网创立于2008年,旨在为游客提供景区门票、国内游、出境游、大交通、商业定制游等预定服务。根据2015年10月劲旅智库数据显示,驴妈妈旅游网稳居在线旅游网站流量前三。其母公司景域集团连续四年入选“中国旅游集团20强”,并于2015年12月在北京股转中心挂牌上市。


驴妈妈旅游网系统发展历程

在驴妈妈旅游网成立初期,整体系统最初采用的是ALL IN ONE架构,服务器和数据库数量相对较少,每天处理的订单数仅仅是几百到上千个订单;业务量进一步增长后,整体系统按照业务进一步做垂直拆分,系统容量得到一定的增长,能处理几千个订单;随着业务的飞速发展,数据量和并发量高速增加,整体系统在根据业务量进行垂直拆分的情况下,同时对较长的流程进行水平拆分,并提供分布式部署,能实现日处理数万个订单;目前采用阿里云服务器、弹性计算,完成向云上架构转变,实现日处理数十万单甚至百万单业务量。


服务治理

随着架构的复杂度增加,整个系统的规模也随之增大,服务也越来越多。如果任由其发展,从外部来看,系统与系统调用、流转就像蜘蛛网一样错综复杂;当具体查询某一问题时,面对的系统像迷宫一样,可能会遇到不少困难。通过服务治理,可以提高系统的可用性。驴妈妈旅游网利用开源框架对其服务进行治理。通过服务治理,对不同的业务、请求分别处理,分别进行优化,实现弹性扩展,提高系统容量。整个系统中,具体的服务拆分包括两个原则:垂直拆分,按照业务线拆分,例如订单管理放在订单服务中,产品管理放在产品服务中等;水平拆分,各个业务流程之间可以通过消息机制等异步机制进行异步化,在水平层面上水平切割。垂直拆分与水平拆分相结合,得到一系列的服务,实现架构的更好部署与扩容。


驴妈妈数据库架构

225d5c8c58c3d63ec67b3e2a0c14e552894f5242

驴妈妈旅游网数据库架构

上图为驴妈妈旅游网目前的数据库架构图。早期系统仅有一个数据库,但随着业务、并发性的增长,整体系统按照业务线进行数据分库,例如用户库、产品库、订单库等库。数据分库一方面可以减小单点的压力,另一方面,当部分库出现问题时,不影响系统其他库的正常运行,系统更加平稳;然而单独的一个业务库,在高压的情况下,可能不满足需求,需要进一步进行读写分离,将主库的数据同步到多个备库上,读取数据等查询操作可通过不同备库进行,实现读写分离,增加系统的稳定性;数据库整体使用多种数据库类型,目前主要使用MySQL,还有一些NoSQL数据库,保持整体之间的异构复制。


在线旅游数据分析系统

f49e2d888f3597a2bbc8ac8173d4b395857ca0b2

数据分析系统项目目标

一个完整的数据分析系统需要能了解同行业产品数据及价格变动情况,使得企业能够实施准实时应对策略,从而完善精准运营,并且该系统同样也应该能够丰富用户行为数据,完善推荐模型,提高推荐准确度。同时在线旅游产品数据分析系统和其他传统电商相比有着产品标准化低的特点,在技术实现时应当区别对待。


为什么选择阿里云?

驴妈妈在线旅游产品数据分析系统一期实现遇到的问题

驴妈妈在线旅游产品数据分析系统一期技术实现,完全采用的自建机房搭建服务。虽然在一定程度上满足业务需求,但也暴露了相当多的问题:一是数据量的不断增加,服务器需求过快增长,传统的做法,从采购、上架、加电、添加虚拟机再到应用耗时几周,无法满足快速变化的业务量;二是出口IP有限,容易造成访问限制;三是大量数据的分析会对网络的流量造成影响,如果与业务系统同机房,会影响正常业务。

2cf6ca4622cb5fd751098e79ce7a462c49099c2c

驴妈妈混合云方案

为了解决上述存在的问题,驴妈妈旅游网采用混合云方案来构建其数据分析系统。上图左半部分是OTA同行数据。中间是阿里云集群,规模约有1000+虚拟机,集群上部署着数据采集集群,用于采集行业数据,同时阿里云集群上可以进行数据分析,包括离线分析和实时分析。其中离线分析是将数据导入Hadoop集群的HDFS中,通过MapReduce每天做一次或多次做离线分析;对于特定、高优先级的数据,可通过Storm或Spark实时分析深加工。分析后数据以表格格式存储,此后数据进一步推送到驴妈妈的IDC应用模块中,包括搜索模块、价格模块、推荐模块、产品模块,然后再对数据采集系统进行反馈调整,如进行增加采集任务等。 目前数据分析平台每天大约处理几百万SKU数据,同时Storm实时分析可以做到分钟级别。

73fc4d259b12ce26c7db1b05533238fcec6af616

ECS上的应用集群

在阿里云的采集集群和Hadoop上采用ECS技术,一方面及时满足100w+SKU采用性能需求,另一方面也可以及时满足不断增长的存储空间要求。
在混合云方案中,其中一部分数据存储在Hadoop集群的HDFS中,加工后的数据存储在MySQL。不但实现了采集数据快速存储,同时也能够承受大数据/高峰值冲击,以及海量数据查询。


使用阿里云混合云架构的成效

混合云方案极大提高了整体弹性扩展需求,又同时满足了快速发展的业务需求。提高运营对价格的敏感度,满足几百万SKU的数据获取,从而提高了精准的运营能力,并提升了产品竞争力。该系统通过价格趋势,自动计算推荐价格,使运营价格调整更加容易、智能,并且结合外部用户行为数据,进一步完善推荐模型,推荐正在热销、性价比高、用户需要的产品。


关于驴妈妈旅游网的更多实践详情:国内在线预订模式开创者驴妈妈旅游网:如何在混合云上搭建产品数据分析系统
原文发布日期:2016-03-15
云栖社区场景研究小组成员:贾子甲,仲浩。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
分布式计算 Oracle 关系型数据库
阿里云的这群疯子
欢呼与流泪的故事。梦想永在,自证预言。
51643 13
|
2月前
|
人工智能 Serverless BI
清凉夏天,用 AI 「冰」封万物 活动开始啦!
清凉夏天,用 AI 「冰」封万物活动将带大家通过使用阿里云产品函数计算 FC , 一键玩转 ComfyUI AI 绘画平台,赢多重好礼!
117 8
这个阿里小二,据说全世界姑娘都羡慕她的工作
大家好,我是好奇橙。我的老板说,好奇心是人类进步的动力。所以……我决定每天进步一点点。阿里是个有趣的地方,有一群神奇的小伙伴,他们的工作奇奇怪怪、五花八门……作为一只好奇的橙子,他们都应该成为我的好朋友。今天就给大家介绍一个小姐姐,她的工作让所有姑娘们都羡慕。
345 0
这个阿里小二,据说全世界姑娘都羡慕她的工作
|
运维 CDN Linux
阿里云“网红"运维工程师白金:做一个平凡的圆梦人
他是阿里云的一位 P8 运维专家,却很有野心得给自己取花名“辟拾(P10)”;他没有华丽的履历,仅凭着 26 年的热爱与坚持,一步一个脚印踏出了属于自己的技术逆袭之路;他爱好清奇,练就了能在 20 秒内从20000个像素块里找出不同颜色像素的“特异功能”;他乐观豁达,一言不合就讲段子的性格让他成为身边同事的“开心果”;临近不惑之年的他,经历过很多故事,但他在用自己的行动向这个世界诠释着什么是 IT 工程师告别平庸的“不惑生活”。
12410 0
阿里云“网红"运维工程师白金:做一个平凡的圆梦人
|
SQL 关系型数据库 Unix
百花开放笑声甜,“开源萌宠”庆六一
“少年易学老难成,一寸光阴不可轻”。树叶因风而动,雏苗因土而长,兴趣要从小培养,给孩子们“施肥”也要让他们印象深刻······儿童节到来之际,云栖社区精选了18款开源软件供孩子们了解,让孩子们在萌宠的陪伴下有个不一样的“六一”。
7344 0
|
传感器 数据采集 监控
机器狗的烦恼:网红练习生容易,商业实习生好难
好比临近毕业正在找工作的实习生,波士顿动力的产品具备了基础理论知识,还缺少实践经验。
(转)阿里八卦:L氓出没,注意!
(转自 http://medic.iteye.com/blog/1056515) 2007年我面试了一个被阿里面试后刷掉的电话销售人员,她本来在广州有一份好好的工作,之所以来杭州就是想进阿里。
826 0
|
人工智能 大数据
春招十里,不如此处相聚 | 在袋鼠云工作是一种怎样的体验?
人间芳菲日 各司春招进行时 春风十里 不如来袋鼠云相聚 袋鼠云全体官方回答 “在袋鼠云工作是一种怎样的体验” 期待与你的遇见 首先用一句话来总结在袋鼠云工作的体验: 这是一份工作,又不只是一份工作。
4975 0