《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——二、AnalyticDB快速实现BI报表分析加速

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——二、AnalyticDB快速实现BI报表分析加速

1. 案例背景

 

业务对BI报表的加速分析需求。

 

业务部门:假设业务部门提出业务目标:商户数提升30%、销售额提升50%。

运营部门:运营部要求看到实时运营数据,通过及时补充热门产品库存提升销售额,支撑商户拓展,把需求提给后台BI报表数据延迟不能超过10分钟。

技术部门:BI业务系统能够实时查询到最新的业务数据,并且满足BI分析报表的查询性能需求。

 

image.png

 

2. AnalyticDB的BI实时数据分析加速方案

 

支撑了淘宝的双11每隔5分钟刷新商户报表,核心是通过AnalyticDB数据库实现运营数据实时分析。

 

image.png

 

如图,淘宝双11每隔5分钟需要刷新商户报表,报表的查询是通过AnalyticDB数据库实现,支持很多种类的源数据库,包括关系型数据库、日志服务、消息队列、流计算等。

这些数据需要实时导入到AnalyticDB,由于每隔5分钟需要刷新商户报表,所以端到端的数据延迟必须要很低,否则不能满足用户需求。

 

3. AnalyticDB采用数据同步获取最新业务数据

 

image.png

 

传统的解决方案使用单体数据库存储订单、库存、报表进行BI的分析,由于BI分析会涉及数据量非常大、对响应要求比较高,导致DBA会不断地进行SQL优化、建索引,但效果非常有限。

所以在做解决方案时,需要把业务数据库和分析数据库进行解耦,避免复杂的BI分析的SQL影响到业务数据库。

其次利用分析数据库在OLAP上快速分析的能力把链路实时化。

 

4. AnalyticDB的实时数据分析引擎加快实时查询

 

image.png

AnalyticDB在全球权威评测TPC-DS的排名第一,是性价比最高的数据库

 

5. AnayticDB如何支撑BI实时数据

 

image.png

 

传统数仓/大数据方案:目前还面临着数据清洗需要数小时,数据建模需要数天数据分析需要数小时,导致常规报表隔天输出,新运营需求数周才能满足。

而数据实时化是趋势,对数据实时化要求越来越高,传统数仓/大数据方案已无法满足需求。

推荐使用AnalyticDB方案,首先是数据传输是端到端是实时秒级的延迟,其次数据分析是用AnalyticDB OLAP产品进行快速复杂SQL的查询,从而满足业务需求。

 

对比

 

传统数仓和大数据方案:数据处理链路长,需要提前定义数据分析维度。

AnalyticDB方案:数据处理链路短,对于业务决策者/运营者的强需求可以实时做出快速响应。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
6月前
|
SQL 存储 分布式计算
Hive数据仓库设计与优化策略:面试经验与必备知识点解析
本文深入探讨了Hive数据仓库设计原则(分区、分桶、存储格式选择)与优化策略(SQL优化、内置优化器、统计信息、配置参数调整),并分享了面试经验及常见问题,如Hive与RDBMS的区别、实际项目应用和与其他组件的集成。通过代码样例,帮助读者掌握Hive核心技术,为面试做好充分准备。
568 0
|
5月前
|
数据采集 大数据
大数据实战项目之电商数仓(二)
大数据实战项目之电商数仓(二)
129 0
|
4月前
|
存储 数据挖掘 BI
数据仓库深度解析与实时数仓应用案例探析
随着数据量的不断增长和数据应用的广泛深入,数据治理和隐私保护将成为数据仓库建设的重要议题。企业需要建立完善的数据治理体系,确保数据的准确性、一致性和完整性;同时加强隐私保护机制建设,确保敏感数据的安全性和合规性。
521 55
|
4月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7770 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
3月前
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
|
3月前
|
中间件 API 网络架构
Django后端架构开发:从匿名用户API节流到REST自定义认证
Django后端架构开发:从匿名用户API节流到REST自定义认证
41 0
|
4月前
|
存储 消息中间件 数据挖掘
数据仓库的深度探索与实时数仓应用案例解析
大数据技术的发展,使得数据仓库能够支持大量和复杂数据类型(如文本、图像、视频、音频等)。数据湖作为一种新的数据存储架构,强调原始数据的全面保留和灵活访问,与数据仓库形成互补,共同支持企业的数据分析需求。
|
6月前
|
存储 消息中间件 运维
友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案
本文主要分享友盟+ U-App 整体的技术架构,以及在实时和离线计算上面的优化方案。
625 2
友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案
|
5月前
|
消息中间件 分布式计算 Hadoop
大数据实战项目之电商数仓(一)
大数据实战项目之电商数仓(一)
285 0
|
6月前
|
SQL 数据采集 分布式计算
Hive 数仓及数仓设计方案
数仓整合企业数据,提供统一出口,用于数据治理。其特点包括面向主题集成和主要支持查询操作。数仓设计涉及需求分析(如咨询老板、运营人员和行业专家)、确定主题指标(如电商的转化率)、数据标准设定、规模与成本计算、技术选型(如Hadoop生态组件)以及数据采集和操作。设计流程涵盖从理解需求到实施SQL函数和存储过程的全过程。
134 3

热门文章

最新文章

推荐镜像

更多