《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(1) https://developer.aliyun.com/article/1230771?groupCode=tech_library
二、 问题分析
1. 问题汇总
以下这副图是简化后的数据模型,我们可以发现存在很多不规范问题影响了模型的稳定性。业务在快速发展的情况下,为了快速响应业务需求,产生模型问题是必然的。日常工作中,数据研发流程大致如下,接到业务需求,直接引用ODS 层表开发ADS 数据,待数据需要复用的时候就把逻辑沉淀到公共层,同理指标也会有类似情况。
主要问题可以归纳为七点:
• 系统临时表多,只增不删,对于消费侧影响较大,因为表量巨大,有效比例低,很难检索到。
• 命名不规范。
• 公共层过度设计。
• ADS 重复建设。
• ADS 跨集市依赖。
• ADS 共性未下沉。
• ADS 穿透依赖ODS。
2. 原因分析
从问题分类上看,主要有三大类问题:规范性问题,公共层复用性问题和应用层复用性问题。
从问题原因上看,主要有四大类原因:架构规范,流程机制,产品工具,以及研发能力。
3. 模型治理的问题
模型治理的挑战:
• 业务价值不明显,治理带来的是长期价值,短期对业务影响不大。
• 治理协作复杂,治理需要ODS、CDM、ADS 层多人多团队协作。
• 问题治理难根治,容易出现新模型依赖有问题模型。
• 模型平均生命周期不长(25 个月)。
综上所述,模型治理的ROI 比较低,我们的问题就是如何模型治理才最高效?
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3) https://developer.aliyun.com/article/1230768?groupCode=tech_library