数仓架构的设计

简介: 数仓架构的设计

数据源层:该层用于从各种数据源(如数据库、文件、API、第三方数据等)中采集数据,并进行初步的清洗、整合和转换操作。常见的技术包括ETL(Extract, Transform, Load)流程和数据集成工具。

数据存储层:该层用于存储原始和清洗后的数据,通常使用关系型数据库、NoSQL 数据库或者数据湖(Data Lake)等存储技术。数据存储层可以根据需求进行横向和纵向的扩展,以支持大规模数据的存储和查询。

数据处理层:该层用于进行数据加工、计算和聚合操作,以生成可供分析和报告的数据集。常见的技术包括数据仓库、数据处理引擎(如Hadoop、Spark)、内存计算引擎(如Redis、MemSQL)等。

数据服务层:该层提供数据访问和查询的接口,包括数据服务API、OLAP(联机分析处理)工具、自助式查询工具等。用户可以通过这些接口获取数据,并进行数据分析、报表生成等操作。

数据可视化与报告层:该层用于将数据可视化展示,帮助用户理解和利用数据。常见的技术包括数据可视化工具、报表工具、仪表盘等。

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
5月前
|
人工智能 分布式计算 大数据
FFA 2023 「流式湖仓」专场:从技术原理到应用实践打造流式湖仓新架构
今年 Flink Forward Asia(以下简称 FFA ) 重新回归线下,将于 12 月 8 - 9 日在北京望京凯悦酒店举办。Flink Forward Asia 2023 大会议程已正式上线!
632 0
FFA 2023 「流式湖仓」专场:从技术原理到应用实践打造流式湖仓新架构
|
4天前
|
存储 运维 监控
|
4月前
|
存储 分布式计算 数据挖掘
数仓分层架构
数仓分层架构
79 0
|
5月前
|
存储 数据采集 大数据
大数据必知必会系列——数仓分层架构及三层架构流程[新星计划]
大数据必知必会系列——数仓分层架构及三层架构流程[新星计划]
133 0
|
5月前
|
存储 分布式计算 关系型数据库
云原生数据仓库AnalyticDB MySQL湖仓版架构升级,持续释放技术红利!
云原生数据仓库AnalyticDB MySQL湖仓版架降价23%!持续提供高性价比的产品服务
|
5月前
|
存储 分布式计算 关系型数据库
|
8月前
|
数据采集 敏捷开发 存储
数据仓库(5)数仓Kimball与Inmon架构的对比
数据仓库主要有四种架构,Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构,基本上都会使用到维度建模。
165 0
数据仓库(5)数仓Kimball与Inmon架构的对比
|
10月前
|
存储 SQL 分布式计算
AnalyticDB MySQL升级为湖仓一体架构:从湖到仓,打造云原生一站式数据分析平台
AnalyticDB MySQL湖仓版同时支持低成本离线处理和高性能在线分析,适合ETL/BI报表/交互式查询/APP应用等多场景,并可无缝替换CDH/TDH/Databricks/Presto/Spark/Hive等
|
10月前
|
存储 数据挖掘 BI
数据仓库(4)基于维度建模的数仓KimBall架构
基于维度建模的KimBall架构,将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用,如下图。
219 1
|
11月前
|
存储 消息中间件 NoSQL
中原银行 OLAP 架构实时化演进
中原银行数据信息部杜威科,在 Flink Forward Asia 2022 行业案例专场的分享。
444 2
中原银行 OLAP 架构实时化演进