《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(3)

简介: 《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(3)
+关注继续查看

《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(2) https://developer.aliyun.com/article/1230965?groupCode=tech_library



五、 DataWorks智能数据建模-数仓分层



一般来说数仓会分为三大层,ODS、CDM、ADS。


其中ODS,又称为贴源层。ODS 主要用户存储业务系统同步来的业务数据。一般情况下,我们不会对ODS 层的数据做过多的加工,以便于后续在ADS 和CDM 数据出错时的溯源。换句话说,ODS 不是数仓同学设计出来的,是对业务系统数据的直接同步。



数仓建设最最重要的公共层CDM 层,CDM 层需要对业务进行高度抽象,需要具备通用性、易用性、复用性,因此,公共层的建设对数仓同学的要求是非常高的,既精通建模方法,同时也对业务情况了如指掌。CDM 层再进行细分,一般会分为DIM层-维度表,DWD 层-明细数据表,DWS 层-轻度汇总层。



数仓建设最难管但管好了效果非常明显的应用层ADS 层,ADS 层主要面向业务进行模型设计。因此,大家一定要先了解清楚模型的主要应用场景,是普通的报表分析,还是数据产品的调用等等,不同的应用场景,模型设计需要考虑的因素也不一样。如果规范化ADS 层,需要建设的表会减少,通过统一逻辑去查询,会使计算和存储成本降低。


image.png


六、 DataWorks智能数据建模-名词释义



• 业务分类:业务板块是某一大类的业务的指标和维度的集合,如电商,文娱。

• 数据域 :数据域是指一个或多个业务过程或者维度的集合,如交易域,日志域。

• 业务过程:业务过程指企业的业务活动事件,如下单,支付。

• 数据集市:面向某个应用场景或者产品的数据组织,一般会依赖数据公共层。

• 主题域:将数据集市按照分析视角进行切分,比如在电商行业,通常分为会员、交易、商品等。

• 维度:维度是用于分析数据的一个角度,一方面对维度进行可控管理,另一方面指导维度表的设计,如地理维度,时间维度。

• 维度属性:维度属性隶属于一个维度,用来描述维度的属性,如地理维度中的国家名称,省份名称。

• 时间周期:时间周期是用来明确数据统计的时间范围或者时间点,如最近30 天,自然周。

• 修饰词:修饰词是对指标统计业务范围的划定,指除了统计维度外指标的业务场景的限定抽象,如PC 端,无线端。

• 原子指标:原子指标是一般不可再细分的度量,原子指标命名=业务过程+度量。,如支付金额,访问人数。

• 派生指标:派生指标直接用于汇总表的字段,派生指标由原子指标、时间周期、修饰词(可选)组成,如最近1 天海外买家支付金额。



七、 DataWorks智能数据建模-一级产品功能



DataWorks 智能数据建模产品分为四大板块,分别是数仓规划、数据标准、维度建模和数据指标。其中数仓规划、数据标准和数据指标最终都为维度建模服务。


image.png



《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(4) https://developer.aliyun.com/article/1230960?groupCode=tech_library

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
4月前
|
DataWorks 数据建模 大数据
《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(1)
《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(1)
317 0
|
4月前
|
存储 DataWorks 数据建模
《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(2)
《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(2)
169 0
|
4月前
|
SQL 自然语言处理 分布式计算
《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(4)
《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(4)
158 0
|
4月前
|
DataWorks 数据建模
《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(5)
《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(5)
115 0
|
4月前
|
自然语言处理 DataWorks 数据建模
《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(6)
《全链路数据治理-智能数据建模 》——DataWorks 智能数据建模介绍(6)
106 0
|
7月前
|
存储 数据采集 分布式计算
2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
阿里巴巴一直将数据作为自己的核心资产与能力之一,从最早的淘宝、天猫等电商业务,到后续的优酷、高德、菜鸟等板块,DataWorks、MaxCompute、Hologres等产品用一套技术体系来支持不同业务的发展与创新,为企业带来整体的“数据繁荣”。 数据繁荣为我们带来了红利,同时也带动了各类数据治理需求的井喷,特别是降本等需求的不断出现,阿里云DataWorks团队将13年的产品建设经验整理成最佳实践,从数据生产规范性治理、数据生产稳定性治理、数据生产质量治理、数据应用提效治理、数据安全管控治理、数据成本治理、数据治理组织架构及文化建设等7个方面为大家揭秘数据治理平台建设实践
21801 10
2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
|
7月前
|
SQL 人工智能 运维
效率优先,DataWorks全链路数据治理年度发布
DataWorks端到端的全链路数据开发治理平台新能力,回归工具为人服务的本质,全方位地提升我们一线数据开发人员/业务人员的工作效率。
975 0
效率优先,DataWorks全链路数据治理年度发布
|
7月前
|
DataWorks 大数据
《一站式大数据开发治理DataWorks使用宝典》电子版地址
《一站式大数据开发治理DataWorks使用宝典》由9位阿里巴巴DataWorks产品专家领学精心打造,全面介绍了DataWorks十大功能模块,以动手实操的方式清晰使用方法及开发流程,帮助用户快速上手DataWorks核心功能。如果你有自定义数据治理方面的需求,学习DataWorks绝对是你的不二选择。此书也定能成为你学习之路的宝典,快来一起过关斩将吧!
193 0
《一站式大数据开发治理DataWorks使用宝典》电子版地址
|
8月前
|
DataWorks 大数据
《一站式大数据开发治理DataWorks使用宝典》电子版下载地址
《一站式大数据开发治理DataWorks使用宝典》由9位阿里巴巴DataWorks产品专家领学精心打造,全面介绍了DataWorks十大功能模块,以动手实操的方式清晰使用方法及开发流程,帮助用户快速上手DataWorks核心功能。如果你有自定义数据治理方面的需求,学习DataWorks绝对是你的不二选择。此书也定能成为你学习之路的宝典,快来一起过关斩将吧!
132 0
《一站式大数据开发治理DataWorks使用宝典》电子版下载地址
|
9月前
|
数据采集 分布式计算 DataWorks
阿里云DataWorks荣获DAMA中国数据治理优秀产品奖
2022年12月3日,2022 DAMA中国数据管理峰会(线上部分)成功举行,汇聚多位世界级数据大咖分享,阿里云DataWorks凭借全链路数据治理产品体系,丰富的行业客户最佳实践案例,获得“DAMA中国数据治理优秀产品奖”。
1009 0
热门文章
最新文章
推荐文章
更多