前沿分享|阿里云数据库解决方案架构师 王宏宇:云原生数据仓库AnalyticDB在零售行业的深度应用和业务价值

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 本篇内容为2021云栖大会-云原生数据仓库AnalyticDB技术与实践峰会分论坛中,阿里云数据库解决方案架构师 王宏宇关于“云原生数据仓库AnalyticDB在零售行业的深度应用和业务价值”的分享。

更多前沿分享,点击云栖大会视频回放链接即可获取。


1.jpeg


本篇内容将通过三个部分来介绍基于云原生数据仓库AnalyticDB MySQL的最佳实践。


一、零售行业的发展趋势

二、AnalyticDB的核心能力

三、AnalyticDB在零售中的应用

 

2.png


一、零售行业的发展趋势


从最早的商超、百货以及到现在的电商、新零售,都是围绕三个核心要素来开展的:人、货、场。传统的零售大都是从场开始的:先有零售场所的创建,然后再等用户前来消费;消费行为始于零售场所,也终止于零售场所。


但是随着数字化和信息化的应用,人、货、场之间的关系正在被数据所重构发生了深刻的变化:零售重新回归到“以人为本”的理念上——用户的需求在哪里,零售就发生的哪里,如办公室的无人货柜、共享充电宝等等;同时逐渐形成了以“人为核心”的立体网络——交易行为突破了时空的限制,变得随时随地都可以发生,而且消费行为的生命周期也会更长。


3.png


零售行业的数字化体现在三个地方:


第一,“人”的数字化。不管是线下万达商铺还是线上的淘宝商城,它本质都在于吸引用户流量——吸引用户进店,之后分析用户流量,最后消费用户流量,所以人的数字化其实就在于用户流量的分析和消费。


商家可以通过不同的途径去获取到用户数据,比如自有电商平台的数据、微博粉丝数据或者微信公众号朋友圈等等。在完成数据收集之后,商家会借助不同的数据挖掘算法,从各种维度对用户画像进行分析,提取用户行为标签进行分类,最后针对不同的客户群体制定不同的营销方案。如何实现人群的精准分析将会给零售产生非常重要的影响,如客流将决定着店铺的位置选择。

4.png



第二,“货”的数字化。货的数字化主要围绕整个供应链的优化开展的,包括多渠道铺货/下单、订单管理以及履约交付等各环节的数字化。全域打通与管理就会给零售行业带了一些挑战:包括线上/线下多个渠道之间采用怎样的铺货策略/销售策略、库存如何统一管理、如何实现快速交付、如何提升回购等等。


比如每年双11从发货到交付到消费者手上的速度是越来越快,这背后正是货的数字化发挥着神奇的力量:双11前,淘宝/天猫/京东等电商平台,会分析用户最近一段时间的消费行为,并进行提前预判——分析哪些商品复购率比较高、哪些商品的购买具有地域属性等等,然后就会提前将这些商品放置到离消费者更近的前置仓;消费者下单后,直接从前置仓进行发货。同时,物流行业里面,通用的电子面单系统,也是将物流的各个环节进行了数字化,这也极大提升了货物的流通速度。

5.png



第三,“场”的数字化。主要比较线上和线下不同渠道之间各自的优势/劣势,然后利用彼此的优势完成信息流和资金流的重构。线下门店可以充分体验产品,但整体成本缺比线上店铺高很多。


于是很多企业就将线下门店和线上电商店铺结合起来一起做,比如小米之家&小米商城、TATA木门的线下体验店&天猫旗舰店等,都极大提升了坪效。

6.png


 

零售行业的数字化,实现了全渠道商品/订单的统一管理、也积累了大量用户数据、使得营销效果更加直观,但是也导致了数据量的极速增长。如何在海量数据中实现用户数据的实时/精准分析、商品报表以及营销效果的及时快速展现,也是零售商家所面临的问题和挑战。

7.png



二、AnalyticDB的核心能力

8.png



上述是原生数据仓库AnalyticDB在整个数据链路的架构图。


自下而上,数据如结构化/非结构化数据、日志数据、对象存储上的文件数据,都可以通过不同的工具,实时或者离线汇聚到AnalyticDB中;然后利用AnalyticDB复杂查询的性能优势完成数据统计分析;最后借助开源或商业化的BI展示工具,或者业务程序,进行图形化或者交互式展现。当然,也可以借助数据开发/调度工具,如DMS、DataWorks实现数据的ETL批处理,实现在/离线一体化数仓。

9.png



AnalyticDB的核心能力主要体现在三块:查询性能快,可以实现实时化分析以及简单易用。


  • AnalyticDB运用新一代超大规模的MPP+DAG融合引擎,采用行列混存、智能索引等技术,极大了提升查询性能。复杂SQL查询速度相比传统的关系型数据库快10倍以上,较传统数仓产品也有几倍的提升。
  • 借助DTS实时同步工具,可以讲业务库的变更及时地被传输到ADB里面,从数据变更到分析再到展现,整个链路延迟在秒级。
  • 高度兼容MySQL和PG协议,通过标准SQL和常用BI工具、以及ETL工具平台即可轻松使用,极大降低了数仓的构建成本以及维护成本。

10.png



AnalyticDB作为一款新型的OLAP产品,通常有两个常见的应用场景:


  • 交互式BI分析。如天猫双11大屏,涵盖总的交易额、类目的TOP、地域等相关统计。优势:查询性能高,可以达到万亿级数据分析亳秒级响应,查询速度约为MySQL100倍。
  • l  日志分析。如游戏运营分析和IT运维日志分析等。优势:实现结构化和非结构化数据的融合分析,同时冷热分离使得存储成本极大降低。


三、AnalyticDB在零售中的应用


AnalyticDB是如何帮助零售行业客户提升业务价值的呢?我们来看几个客户案例。

11.png



第一个案例来自于客户云。客如云是给餐饮、零售、美业等本地生活服务业商家提供SAAS方案的服务商。


客户主要有三个诉求:


  • 报表实时展现。传统数据仓库一般只能做到T+1展现,可能会导致商家隔天才能查看运营情况,进而导致补货、资源调配存在延迟影响正常销售。
  • 画像分析增值服务。客如云的商家希望其提供更加精准的画像分析服务,这样可以为不同的目标群体提供更贴心的餐饮服务,例如情侣套餐、经济套餐、满减打折券等。
  • 稳定性和扩展性。比如情人节、七夕、圣诞节等节假日用餐高峰,需要保证系统的顺畅。

12.png



这个是架构升级之后的架构图。


PolarDB MySQL替代了传统MySQL,承担业务流量,具备极致弹性能力。


DTS将业务库中的数据变更实时地同步到AnalyticDB里面,实现业务库跟分析库的解藕及实时同步。


AnalyticDB帮助客户实现了实时报表分析、复杂交互式查询和用户画像分析等功能。

13.png


 

通过这个架构升级,AnalyticDB帮助客如云拓展了商业边界,找到了新的营收增长点:推出商户报表VIP套餐,报表更新从天降低到小时级别;同时也开发了用户画像精准营销服务,两项新功能给客如云每年新增几亿的营收。同时七夕、国庆、圣诞节等节假日用餐高峰,系统运行非常的流畅,没有任何卡顿。

14.png



第二个案例来自于北京蜂创科技。北京蜂创科技中国企业级营销一体化管理 SaaS 平台。旗下拥有营销活动管理平台、CRM用户关系管理平台、社区运营系统、精准营销投放平台等多个产品平台。


主要面临几个问题:


  • 查询性能差。表数据量大,单表数据量过亿甚至数十亿,并且多表关联/多维交互查询场景较多。而且广告主对于营销展现时效性要求非常高。
  • 传统数仓架构复杂。涉及的组件多、数据链路长、人员学习成本运维成本大。
  • 扩展性。可以承载未来3-5年数据的增长,不需要做架构再次升级。

15.png



结合业务场景,采用了PolarDB-X+DTS+AnalyticDB的解决方案:分布式PolarDB-X做分库分表承担业务高并发;数据通过DTS实时传输到AnalyticDB;同时AnalyticDB也可以直接读取OSS上数据进行联合查询。这样就构建了一个数据汇聚、数据清洗、ETL计算和实时查询服务的数据分析平台。

16.png



架构完成之后,AnalyticDB的引入使得多维分析查询性能都在秒级返回,营销效果展示更加及时。同时,AnalyticDB的快速弹性以及数据冷热分离,使得整体成本更可控。

17.png



第三个案例来自于上海分尚网络,国内鲜花电商领导品牌,创造了“线上订阅+产地直送+增值服务”的日常鲜花订阅模式。


主要面临的问题是:业务库和分析库都使用传统MySQL,分析场景如订单、商品流量、采购、业务转化率、商品售罄报警等查询速度较慢甚至查询不出来的情况;业务发展很快,数据量增长迅猛;技术团队对MySQL生态比较熟悉,传统数仓组件多学习成本高;另外就是考虑未来数据进一步增长的情况下,系统的扩展性。

18.png



后来OLAP分析放置到了AnalyticDB上:利用AnalyticDB优异的查询性能,报表和BI分析速度有2-10倍的提升,整体业务响应度和顾客服务体验也得到很大提升。同时,利用ADB的数据冷热分离以及资源组弹性功能,更高的扩展性和灵活性,IT支出成本降低30%以上。

 

还有更多的零售行业的客户,如飞鹤、居然之家、生意参谋等等,也都在使用AnalyticDB承载复杂的报表统计以及交互式分析场景,通过数字化转型挖掘更多的商业价值。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
3月前
|
存储 数据可视化 数据挖掘
《基于 hologres 搭建轻量 OLAP 分析平台》解决方案的测评
《基于 hologres 搭建轻量 OLAP 分析平台》解决方案的测评
53 4
|
1月前
|
存储 Cloud Native NoSQL
云原生时代的数据库选型与架构设计
云原生时代的数据库选型与架构设计
25 0
|
3月前
|
安全 数据挖掘 关系型数据库
体验《基于hologres搭建轻量OLAP分析平台》解决方案并进行部署
《基于HoloGres搭建轻量OLAP分析平台》解决方案详尽介绍了HoloGres基础、OLAP原理及平台架构设计等内容。涵盖数据模型设计、加载流程、查询优化及安全性能考虑等多方面,适合有一定背景知识的读者深入理解和实践。然而,对于初学者而言,可能需要更多概念解释。方案在数据迁移、高级查询优化及安全配置等方面提供了指导,但仍需注意潜在的环境兼容性、配置错误及性能瓶颈等问题。通过参考官方文档和社区资源,用户可以解决常见问题并根据实际需求进行调整优化,以实现高效的数据分析。
|
2月前
|
OLAP
解决方案|基于hologres搭建轻量OLAP分析平台获奖名单公布!
解决方案|基于hologres搭建轻量OLAP分析平台获奖名单公布!
|
2月前
|
DataWorks 数据挖掘 关系型数据库
基于hologres搭建轻量OLAP分析平台解决方案评测
一文带你详细了解基于hologres搭建轻量OLAP分析平台解决方案的优与劣
441 9
|
3月前
|
存储 数据可视化 数据挖掘
《基于 hologres 搭建轻量 OLAP 分析平台》解决方案的测评
《基于 hologres 搭建轻量 OLAP 分析平台》解决方案的测评
44 8
|
3月前
|
数据挖掘 关系型数据库 MySQL
《基于hologres搭建轻量OLAP分析平台》解决方案并进行部署评测
《基于hologres搭建轻量OLAP分析平台》解决方案并进行部署
|
3月前
|
存储 机器学习/深度学习 监控
阿里云 Hologres OLAP 解决方案评测
随着大数据时代的到来,企业面临着海量数据的挑战,如何高效地进行数据分析和决策变得尤为重要。阿里云推出的 Hologres OLAP(在线分析处理)解决方案,旨在为用户提供快速、高效的数据分析能力。本文将深入探讨 Hologres OLAP 的特点、优势以及应用场景,并针对方案的技术细节、部署指导、代码示例和数据分析需求进行评测。
139 7
|
4月前
|
Cloud Native 数据库 开发者
云原生数据库2.0问题之帮助阿里云数据库加速技术更新如何解决
云原生数据库2.0问题之帮助阿里云数据库加速技术更新如何解决
|
4月前
|
Cloud Native 关系型数据库 分布式数据库
云原生关系型数据库PolarDB问题之PolarDB相比传统商用数据库的优势如何解决
云原生关系型数据库PolarDB问题之PolarDB相比传统商用数据库的优势如何解决
45 1

相关产品

  • 云原生数据仓库AnalyticDB MySQL版