更多前沿分享,点击云栖大会视频回放链接即可获取。
本篇内容将通过三个部分来介绍基于云原生数据仓库AnalyticDB MySQL的最佳实践。
一、零售行业的发展趋势
二、AnalyticDB的核心能力
三、AnalyticDB在零售中的应用
一、零售行业的发展趋势
从最早的商超、百货以及到现在的电商、新零售,都是围绕三个核心要素来开展的:人、货、场。传统的零售大都是从场开始的:先有零售场所的创建,然后再等用户前来消费;消费行为始于零售场所,也终止于零售场所。
但是随着数字化和信息化的应用,人、货、场之间的关系正在被数据所重构发生了深刻的变化:零售重新回归到“以人为本”的理念上——用户的需求在哪里,零售就发生的哪里,如办公室的无人货柜、共享充电宝等等;同时逐渐形成了以“人为核心”的立体网络——交易行为突破了时空的限制,变得随时随地都可以发生,而且消费行为的生命周期也会更长。
零售行业的数字化体现在三个地方:
第一,“人”的数字化。不管是线下万达商铺还是线上的淘宝商城,它本质都在于吸引用户流量——吸引用户进店,之后分析用户流量,最后消费用户流量,所以人的数字化其实就在于用户流量的分析和消费。
商家可以通过不同的途径去获取到用户数据,比如自有电商平台的数据、微博粉丝数据或者微信公众号朋友圈等等。在完成数据收集之后,商家会借助不同的数据挖掘算法,从各种维度对用户画像进行分析,提取用户行为标签进行分类,最后针对不同的客户群体制定不同的营销方案。如何实现人群的精准分析将会给零售产生非常重要的影响,如客流将决定着店铺的位置选择。
第二,“货”的数字化。货的数字化主要围绕整个供应链的优化开展的,包括多渠道铺货/下单、订单管理以及履约交付等各环节的数字化。全域打通与管理就会给零售行业带了一些挑战:包括线上/线下多个渠道之间采用怎样的铺货策略/销售策略、库存如何统一管理、如何实现快速交付、如何提升回购等等。
比如每年双11从发货到交付到消费者手上的速度是越来越快,这背后正是货的数字化发挥着神奇的力量:双11前,淘宝/天猫/京东等电商平台,会分析用户最近一段时间的消费行为,并进行提前预判——分析哪些商品复购率比较高、哪些商品的购买具有地域属性等等,然后就会提前将这些商品放置到离消费者更近的前置仓;消费者下单后,直接从前置仓进行发货。同时,物流行业里面,通用的电子面单系统,也是将物流的各个环节进行了数字化,这也极大提升了货物的流通速度。
第三,“场”的数字化。主要比较线上和线下不同渠道之间各自的优势/劣势,然后利用彼此的优势完成信息流和资金流的重构。线下门店可以充分体验产品,但整体成本缺比线上店铺高很多。
于是很多企业就将线下门店和线上电商店铺结合起来一起做,比如小米之家&小米商城、TATA木门的线下体验店&天猫旗舰店等,都极大提升了坪效。
零售行业的数字化,实现了全渠道商品/订单的统一管理、也积累了大量用户数据、使得营销效果更加直观,但是也导致了数据量的极速增长。如何在海量数据中实现用户数据的实时/精准分析、商品报表以及营销效果的及时快速展现,也是零售商家所面临的问题和挑战。
二、AnalyticDB的核心能力
上述是原生数据仓库AnalyticDB在整个数据链路的架构图。
自下而上,数据如结构化/非结构化数据、日志数据、对象存储上的文件数据,都可以通过不同的工具,实时或者离线汇聚到AnalyticDB中;然后利用AnalyticDB复杂查询的性能优势完成数据统计分析;最后借助开源或商业化的BI展示工具,或者业务程序,进行图形化或者交互式展现。当然,也可以借助数据开发/调度工具,如DMS、DataWorks实现数据的ETL批处理,实现在/离线一体化数仓。
AnalyticDB的核心能力主要体现在三块:查询性能快,可以实现实时化分析以及简单易用。
- AnalyticDB运用新一代超大规模的MPP+DAG融合引擎,采用行列混存、智能索引等技术,极大了提升查询性能。复杂SQL查询速度相比传统的关系型数据库快10倍以上,较传统数仓产品也有几倍的提升。
- 借助DTS实时同步工具,可以讲业务库的变更及时地被传输到ADB里面,从数据变更到分析再到展现,整个链路延迟在秒级。
- 高度兼容MySQL和PG协议,通过标准SQL和常用BI工具、以及ETL工具平台即可轻松使用,极大降低了数仓的构建成本以及维护成本。
AnalyticDB作为一款新型的OLAP产品,通常有两个常见的应用场景:
- 交互式BI分析。如天猫双11大屏,涵盖总的交易额、类目的TOP、地域等相关统计。优势:查询性能高,可以达到万亿级数据分析亳秒级响应,查询速度约为MySQL100倍。
- l 日志分析。如游戏运营分析和IT运维日志分析等。优势:实现结构化和非结构化数据的融合分析,同时冷热分离使得存储成本极大降低。
三、AnalyticDB在零售中的应用
AnalyticDB是如何帮助零售行业客户提升业务价值的呢?我们来看几个客户案例。
第一个案例来自于客户云。客如云是给餐饮、零售、美业等本地生活服务业商家提供SAAS方案的服务商。
客户主要有三个诉求:
- 报表实时展现。传统数据仓库一般只能做到T+1展现,可能会导致商家隔天才能查看运营情况,进而导致补货、资源调配存在延迟影响正常销售。
- 画像分析增值服务。客如云的商家希望其提供更加精准的画像分析服务,这样可以为不同的目标群体提供更贴心的餐饮服务,例如情侣套餐、经济套餐、满减打折券等。
- 稳定性和扩展性。比如情人节、七夕、圣诞节等节假日用餐高峰,需要保证系统的顺畅。
这个是架构升级之后的架构图。
PolarDB MySQL替代了传统MySQL,承担业务流量,具备极致弹性能力。
DTS将业务库中的数据变更实时地同步到AnalyticDB里面,实现业务库跟分析库的解藕及实时同步。
AnalyticDB帮助客户实现了实时报表分析、复杂交互式查询和用户画像分析等功能。
通过这个架构升级,AnalyticDB帮助客如云拓展了商业边界,找到了新的营收增长点:推出商户报表VIP套餐,报表更新从天降低到小时级别;同时也开发了用户画像精准营销服务,两项新功能给客如云每年新增几亿的营收。同时七夕、国庆、圣诞节等节假日用餐高峰,系统运行非常的流畅,没有任何卡顿。
第二个案例来自于北京蜂创科技。北京蜂创科技中国企业级营销一体化管理 SaaS 平台。旗下拥有营销活动管理平台、CRM用户关系管理平台、社区运营系统、精准营销投放平台等多个产品平台。
主要面临几个问题:
- 查询性能差。表数据量大,单表数据量过亿甚至数十亿,并且多表关联/多维交互查询场景较多。而且广告主对于营销展现时效性要求非常高。
- 传统数仓架构复杂。涉及的组件多、数据链路长、人员学习成本运维成本大。
- 扩展性。可以承载未来3-5年数据的增长,不需要做架构再次升级。
结合业务场景,采用了PolarDB-X+DTS+AnalyticDB的解决方案:分布式PolarDB-X做分库分表承担业务高并发;数据通过DTS实时传输到AnalyticDB;同时AnalyticDB也可以直接读取OSS上数据进行联合查询。这样就构建了一个数据汇聚、数据清洗、ETL计算和实时查询服务的数据分析平台。
架构完成之后,AnalyticDB的引入使得多维分析查询性能都在秒级返回,营销效果展示更加及时。同时,AnalyticDB的快速弹性以及数据冷热分离,使得整体成本更可控。
第三个案例来自于上海分尚网络,国内鲜花电商领导品牌,创造了“线上订阅+产地直送+增值服务”的日常鲜花订阅模式。
主要面临的问题是:业务库和分析库都使用传统MySQL,分析场景如订单、商品流量、采购、业务转化率、商品售罄报警等查询速度较慢甚至查询不出来的情况;业务发展很快,数据量增长迅猛;技术团队对MySQL生态比较熟悉,传统数仓组件多学习成本高;另外就是考虑未来数据进一步增长的情况下,系统的扩展性。
后来OLAP分析放置到了AnalyticDB上:利用AnalyticDB优异的查询性能,报表和BI分析速度有2-10倍的提升,整体业务响应度和顾客服务体验也得到很大提升。同时,利用ADB的数据冷热分离以及资源组弹性功能,更高的扩展性和灵活性,IT支出成本降低30%以上。
还有更多的零售行业的客户,如飞鹤、居然之家、生意参谋等等,也都在使用AnalyticDB承载复杂的报表统计以及交互式分析场景,通过数字化转型挖掘更多的商业价值。