《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)

简介: 《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)

《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2) https://developer.aliyun.com/article/1230769?groupCode=tech_library



三、 治理方案


1. 整体方案


基于以上的问题原因分析,我们制定了如下治理方案。


image.png

核心策略为以下三点:


1) 盘点存量,掌握数据的整体情况。

2) 规范增量,避免新增模型走老路,重复出现相同问题,考虑到数据的生命周期,历史数据可以先不管。

3) 日常治理保健康,以数据化驱动长期治理。


2. 机制规范


1) 架构分层标准


image.png


往年我们关注的是数据视角,今年关注的是业务视角,业务视角核心诉求主要有四点,交付效率、产出时效、质量可靠、成本可控。过去OneData 定义了每一层的作用,但每个层次的分工定位不清晰,针对这些问题重新做了清晰的定义。


应用层核心是专注支持业务,需要考虑研发效率、交付数据口径一致性和稳定性。


通过集市规范来控制复杂度,通过轻度聚合的中间层确保口径统一,通过扁平化设计确保稳定。


公共层的核心是抽象复用来提升效率,需要考虑易用性和稳定性。通过规范和冗余宽表提升复用性,通过解耦来确保稳定性。


ODS 层的核心是合规高效,需要考虑接入效率和性能稳定。通过工具化提升效率、优化治理确保性能的稳定。特别是在数据达到一定量之后要考虑采用merge 的方式接入数据。


2) 集市划分规范


数据集市,是用来满足特定部门或者用户的需求,按照多维的方式进行存储。通过对相似数据业务场景内聚进行抽象分类,以降低ADS 层重复建设和数据管理复杂度,让应用研发更聚焦更高效。


image.png


集市划分的原则有以下两点:

• 原则一:以业务场景或者服务对象作为划分原则,对相似数据业务场景内聚抽象进行分类。

• 原则二:集市划分需要统一标准,尽量符合MECE 原则。


3) 公共层共建机制


image.png


在建设公共层的建设过程中,我们通常会遇到以下两个痛点:


• 应用研发的痛点:公共层相应效率低。

• 公共层研发的痛点:如果统一承接开发工作,涉及的业务很广泛,研发资源不

足。


为了解决以上两个痛点,我们通过以下核心原则来解决:


• 原则一:公共层开放共建,事后审计治理

应用开发整理需求,把需要下沉的公共维度提给公共层研发,公共开发需求评

估。

• 原则二:以应用需求驱动,设计开发共建

以需求为驱动,拆分出核心模型和非核心。模型,核心模型公共研发负责,非核

心模型由业务开发进行,共同开发以提高效率。


• 原则三:公共层研发统一运维保障

非核心模型上线并完成相关测试(准确性、确定性、治理)后转交给公共层研

发,由公共层统一运维。





《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4) https://developer.aliyun.com/article/1230767?groupCode=tech_library

相关文章
|
2月前
|
存储 大数据 数据处理
洞察未来:数据治理中的数据架构新思维
数据治理中的数据架构新思维对于应对未来挑战、提高数据处理效率、加强数据安全与隐私保护以及促进数据驱动的业务创新具有重要意义。企业需要紧跟时代步伐,不断探索和实践新型数据架构,以洞察未来发展趋势,为企业的长远发展奠定坚实基础。
|
DataWorks 数据可视化 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
123 0
|
运维 DataWorks 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(7)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(7)
134 0
|
数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(1)
161 0
|
数据建模 定位技术
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(5)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(5)
128 0
|
数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2)
165 0
|
运维 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(8)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(8)
131 0
|
数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(6)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(6)
141 0
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
306 0
|
存储 分布式计算 算法
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)
288 0