《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2)

简介: 《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2)

《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(1) https://developer.aliyun.com/article/1230771?groupCode=tech_library



二、 问题分析


1. 问题汇总


以下这副图是简化后的数据模型,我们可以发现存在很多不规范问题影响了模型的稳定性。业务在快速发展的情况下,为了快速响应业务需求,产生模型问题是必然的。日常工作中,数据研发流程大致如下,接到业务需求,直接引用ODS 层表开发ADS 数据,待数据需要复用的时候就把逻辑沉淀到公共层,同理指标也会有类似情况。


image.png


主要问题可以归纳为七点:


• 系统临时表多,只增不删,对于消费侧影响较大,因为表量巨大,有效比例低,很难检索到。

• 命名不规范。

• 公共层过度设计。

• ADS 重复建设。

• ADS 跨集市依赖。

• ADS 共性未下沉。

• ADS 穿透依赖ODS。


2. 原因分析


从问题分类上看,主要有三大类问题:规范性问题,公共层复用性问题和应用层复用性问题。

从问题原因上看,主要有四大类原因:架构规范,流程机制,产品工具,以及研发能力。


image.png


3. 模型治理的问题


image.png


模型治理的挑战:


• 业务价值不明显,治理带来的是长期价值,短期对业务影响不大。

• 治理协作复杂,治理需要ODS、CDM、ADS 层多人多团队协作。

• 问题治理难根治,容易出现新模型依赖有问题模型。

• 模型平均生命周期不长(25 个月)。


综上所述,模型治理的ROI 比较低,我们的问题就是如何模型治理才最高效?



《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3) https://developer.aliyun.com/article/1230768?groupCode=tech_library


相关文章
|
11月前
|
运维 DataWorks 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(7)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(7)
|
11月前
|
数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(6)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(6)
|
11月前
|
数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(1)
113 0
|
11月前
|
数据建模 定位技术
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(5)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(5)
|
11月前
|
DataWorks 数据可视化 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
|
11月前
|
存储 运维 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)
|
11月前
|
运维 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(8)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(8)
|
11月前
|
存储 分布式计算 算法
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)
170 0
|
11月前
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
164 0
|
11月前
|
DataWorks 数据建模
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(7)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(7)