前沿分享|阿里云数据库解决方案架构师 王宏宇:云原生数据仓库AnalyticDB在零售行业的深度应用和业务价值

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 本篇内容为2021云栖大会-云原生数据仓库AnalyticDB技术与实践峰会分论坛中,阿里云数据库解决方案架构师 王宏宇关于“云原生数据仓库AnalyticDB在零售行业的深度应用和业务价值”的分享。

更多前沿分享,点击云栖大会视频回放链接即可获取。


1.jpeg


本篇内容将通过三个部分来介绍基于云原生数据仓库AnalyticDB MySQL的最佳实践。


一、零售行业的发展趋势

二、AnalyticDB的核心能力

三、AnalyticDB在零售中的应用

 

2.png


一、零售行业的发展趋势


从最早的商超、百货以及到现在的电商、新零售,都是围绕三个核心要素来开展的:人、货、场。传统的零售大都是从场开始的:先有零售场所的创建,然后再等用户前来消费;消费行为始于零售场所,也终止于零售场所。


但是随着数字化和信息化的应用,人、货、场之间的关系正在被数据所重构发生了深刻的变化:零售重新回归到“以人为本”的理念上——用户的需求在哪里,零售就发生的哪里,如办公室的无人货柜、共享充电宝等等;同时逐渐形成了以“人为核心”的立体网络——交易行为突破了时空的限制,变得随时随地都可以发生,而且消费行为的生命周期也会更长。


3.png


零售行业的数字化体现在三个地方:


第一,“人”的数字化。不管是线下万达商铺还是线上的淘宝商城,它本质都在于吸引用户流量——吸引用户进店,之后分析用户流量,最后消费用户流量,所以人的数字化其实就在于用户流量的分析和消费。


商家可以通过不同的途径去获取到用户数据,比如自有电商平台的数据、微博粉丝数据或者微信公众号朋友圈等等。在完成数据收集之后,商家会借助不同的数据挖掘算法,从各种维度对用户画像进行分析,提取用户行为标签进行分类,最后针对不同的客户群体制定不同的营销方案。如何实现人群的精准分析将会给零售产生非常重要的影响,如客流将决定着店铺的位置选择。

4.png



第二,“货”的数字化。货的数字化主要围绕整个供应链的优化开展的,包括多渠道铺货/下单、订单管理以及履约交付等各环节的数字化。全域打通与管理就会给零售行业带了一些挑战:包括线上/线下多个渠道之间采用怎样的铺货策略/销售策略、库存如何统一管理、如何实现快速交付、如何提升回购等等。


比如每年双11从发货到交付到消费者手上的速度是越来越快,这背后正是货的数字化发挥着神奇的力量:双11前,淘宝/天猫/京东等电商平台,会分析用户最近一段时间的消费行为,并进行提前预判——分析哪些商品复购率比较高、哪些商品的购买具有地域属性等等,然后就会提前将这些商品放置到离消费者更近的前置仓;消费者下单后,直接从前置仓进行发货。同时,物流行业里面,通用的电子面单系统,也是将物流的各个环节进行了数字化,这也极大提升了货物的流通速度。

5.png



第三,“场”的数字化。主要比较线上和线下不同渠道之间各自的优势/劣势,然后利用彼此的优势完成信息流和资金流的重构。线下门店可以充分体验产品,但整体成本缺比线上店铺高很多。


于是很多企业就将线下门店和线上电商店铺结合起来一起做,比如小米之家&小米商城、TATA木门的线下体验店&天猫旗舰店等,都极大提升了坪效。

6.png


 

零售行业的数字化,实现了全渠道商品/订单的统一管理、也积累了大量用户数据、使得营销效果更加直观,但是也导致了数据量的极速增长。如何在海量数据中实现用户数据的实时/精准分析、商品报表以及营销效果的及时快速展现,也是零售商家所面临的问题和挑战。

7.png



二、AnalyticDB的核心能力

8.png



上述是原生数据仓库AnalyticDB在整个数据链路的架构图。


自下而上,数据如结构化/非结构化数据、日志数据、对象存储上的文件数据,都可以通过不同的工具,实时或者离线汇聚到AnalyticDB中;然后利用AnalyticDB复杂查询的性能优势完成数据统计分析;最后借助开源或商业化的BI展示工具,或者业务程序,进行图形化或者交互式展现。当然,也可以借助数据开发/调度工具,如DMS、DataWorks实现数据的ETL批处理,实现在/离线一体化数仓。

9.png



AnalyticDB的核心能力主要体现在三块:查询性能快,可以实现实时化分析以及简单易用。


  • AnalyticDB运用新一代超大规模的MPP+DAG融合引擎,采用行列混存、智能索引等技术,极大了提升查询性能。复杂SQL查询速度相比传统的关系型数据库快10倍以上,较传统数仓产品也有几倍的提升。
  • 借助DTS实时同步工具,可以讲业务库的变更及时地被传输到ADB里面,从数据变更到分析再到展现,整个链路延迟在秒级。
  • 高度兼容MySQL和PG协议,通过标准SQL和常用BI工具、以及ETL工具平台即可轻松使用,极大降低了数仓的构建成本以及维护成本。

10.png



AnalyticDB作为一款新型的OLAP产品,通常有两个常见的应用场景:


  • 交互式BI分析。如天猫双11大屏,涵盖总的交易额、类目的TOP、地域等相关统计。优势:查询性能高,可以达到万亿级数据分析亳秒级响应,查询速度约为MySQL100倍。
  • l  日志分析。如游戏运营分析和IT运维日志分析等。优势:实现结构化和非结构化数据的融合分析,同时冷热分离使得存储成本极大降低。


三、AnalyticDB在零售中的应用


AnalyticDB是如何帮助零售行业客户提升业务价值的呢?我们来看几个客户案例。

11.png



第一个案例来自于客户云。客如云是给餐饮、零售、美业等本地生活服务业商家提供SAAS方案的服务商。


客户主要有三个诉求:


  • 报表实时展现。传统数据仓库一般只能做到T+1展现,可能会导致商家隔天才能查看运营情况,进而导致补货、资源调配存在延迟影响正常销售。
  • 画像分析增值服务。客如云的商家希望其提供更加精准的画像分析服务,这样可以为不同的目标群体提供更贴心的餐饮服务,例如情侣套餐、经济套餐、满减打折券等。
  • 稳定性和扩展性。比如情人节、七夕、圣诞节等节假日用餐高峰,需要保证系统的顺畅。

12.png



这个是架构升级之后的架构图。


PolarDB MySQL替代了传统MySQL,承担业务流量,具备极致弹性能力。


DTS将业务库中的数据变更实时地同步到AnalyticDB里面,实现业务库跟分析库的解藕及实时同步。


AnalyticDB帮助客户实现了实时报表分析、复杂交互式查询和用户画像分析等功能。

13.png


 

通过这个架构升级,AnalyticDB帮助客如云拓展了商业边界,找到了新的营收增长点:推出商户报表VIP套餐,报表更新从天降低到小时级别;同时也开发了用户画像精准营销服务,两项新功能给客如云每年新增几亿的营收。同时七夕、国庆、圣诞节等节假日用餐高峰,系统运行非常的流畅,没有任何卡顿。

14.png



第二个案例来自于北京蜂创科技。北京蜂创科技中国企业级营销一体化管理 SaaS 平台。旗下拥有营销活动管理平台、CRM用户关系管理平台、社区运营系统、精准营销投放平台等多个产品平台。


主要面临几个问题:


  • 查询性能差。表数据量大,单表数据量过亿甚至数十亿,并且多表关联/多维交互查询场景较多。而且广告主对于营销展现时效性要求非常高。
  • 传统数仓架构复杂。涉及的组件多、数据链路长、人员学习成本运维成本大。
  • 扩展性。可以承载未来3-5年数据的增长,不需要做架构再次升级。

15.png



结合业务场景,采用了PolarDB-X+DTS+AnalyticDB的解决方案:分布式PolarDB-X做分库分表承担业务高并发;数据通过DTS实时传输到AnalyticDB;同时AnalyticDB也可以直接读取OSS上数据进行联合查询。这样就构建了一个数据汇聚、数据清洗、ETL计算和实时查询服务的数据分析平台。

16.png



架构完成之后,AnalyticDB的引入使得多维分析查询性能都在秒级返回,营销效果展示更加及时。同时,AnalyticDB的快速弹性以及数据冷热分离,使得整体成本更可控。

17.png



第三个案例来自于上海分尚网络,国内鲜花电商领导品牌,创造了“线上订阅+产地直送+增值服务”的日常鲜花订阅模式。


主要面临的问题是:业务库和分析库都使用传统MySQL,分析场景如订单、商品流量、采购、业务转化率、商品售罄报警等查询速度较慢甚至查询不出来的情况;业务发展很快,数据量增长迅猛;技术团队对MySQL生态比较熟悉,传统数仓组件多学习成本高;另外就是考虑未来数据进一步增长的情况下,系统的扩展性。

18.png



后来OLAP分析放置到了AnalyticDB上:利用AnalyticDB优异的查询性能,报表和BI分析速度有2-10倍的提升,整体业务响应度和顾客服务体验也得到很大提升。同时,利用ADB的数据冷热分离以及资源组弹性功能,更高的扩展性和灵活性,IT支出成本降低30%以上。

 

还有更多的零售行业的客户,如飞鹤、居然之家、生意参谋等等,也都在使用AnalyticDB承载复杂的报表统计以及交互式分析场景,通过数字化转型挖掘更多的商业价值。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
14天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 10 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
25天前
|
存储 SQL 缓存
AnalyticDB 实时数仓架构解析
AnalyticDB 是阿里云自研的 OLAP 数据库,广泛应用于行为分析、数据报表、金融风控等应用场景,可支持 100 trillion 行记录、10PB 量级的数据规模,亚秒级完成交互式分析查询。本文是对 《 AnalyticDB: Real-time OLAP Database System at Alibaba Cloud 》的学习总结。
46 1
|
1月前
|
运维 Cloud Native 数据可视化
阿里云云原生应用组装平台BizWorks满分通过最新评估
阿里云BizWorks满分通过《基于云计算的业务组装平台能力成熟度模型》评测,获得优秀级(最高等级),广东移动联合阿里云BizWorks团队开展的组装式应用实践获得第三届“鼎新杯”数字化转型应用优秀案例一等奖。
193 3
|
1月前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
94 1
|
1月前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 09 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
1月前
|
运维 Cloud Native 持续交付
云原生技术解析:从IO出发,以阿里云原生为例
【10月更文挑战第24天】随着互联网技术的不断发展,传统的单体应用架构逐渐暴露出扩展性差、迭代速度慢等问题。为了应对这些挑战,云原生技术应运而生。云原生是一种利用云计算的优势,以更灵活、可扩展和可靠的方式构建和部署应用程序的方法。它强调以容器、微服务、自动化和持续交付为核心,旨在提高开发效率、增强系统的灵活性和可维护性。阿里云作为国内领先的云服务商,在云原生领域有着深厚的积累和实践。
56 0
|
3月前
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
4月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之分组优化如何实现
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
4月前
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库操作报错合集之遇到“table does not exist”错误,该怎么办
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
4月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库操作报错合集之遇到报错“DDL forbidden because backupTask is doing snapshot”如何处理
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版
  • 下一篇
    无影云桌面