《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)

简介: 《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)

《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2) https://developer.aliyun.com/article/1230769?groupCode=tech_library



三、 治理方案


1. 整体方案


基于以上的问题原因分析,我们制定了如下治理方案。


image.png

核心策略为以下三点:


1) 盘点存量,掌握数据的整体情况。

2) 规范增量,避免新增模型走老路,重复出现相同问题,考虑到数据的生命周期,历史数据可以先不管。

3) 日常治理保健康,以数据化驱动长期治理。


2. 机制规范


1) 架构分层标准


image.png


往年我们关注的是数据视角,今年关注的是业务视角,业务视角核心诉求主要有四点,交付效率、产出时效、质量可靠、成本可控。过去OneData 定义了每一层的作用,但每个层次的分工定位不清晰,针对这些问题重新做了清晰的定义。


应用层核心是专注支持业务,需要考虑研发效率、交付数据口径一致性和稳定性。


通过集市规范来控制复杂度,通过轻度聚合的中间层确保口径统一,通过扁平化设计确保稳定。


公共层的核心是抽象复用来提升效率,需要考虑易用性和稳定性。通过规范和冗余宽表提升复用性,通过解耦来确保稳定性。


ODS 层的核心是合规高效,需要考虑接入效率和性能稳定。通过工具化提升效率、优化治理确保性能的稳定。特别是在数据达到一定量之后要考虑采用merge 的方式接入数据。


2) 集市划分规范


数据集市,是用来满足特定部门或者用户的需求,按照多维的方式进行存储。通过对相似数据业务场景内聚进行抽象分类,以降低ADS 层重复建设和数据管理复杂度,让应用研发更聚焦更高效。


image.png


集市划分的原则有以下两点:

• 原则一:以业务场景或者服务对象作为划分原则,对相似数据业务场景内聚抽象进行分类。

• 原则二:集市划分需要统一标准,尽量符合MECE 原则。


3) 公共层共建机制


image.png


在建设公共层的建设过程中,我们通常会遇到以下两个痛点:


• 应用研发的痛点:公共层相应效率低。

• 公共层研发的痛点:如果统一承接开发工作,涉及的业务很广泛,研发资源不

足。


为了解决以上两个痛点,我们通过以下核心原则来解决:


• 原则一:公共层开放共建,事后审计治理

应用开发整理需求,把需要下沉的公共维度提给公共层研发,公共开发需求评

估。

• 原则二:以应用需求驱动,设计开发共建

以需求为驱动,拆分出核心模型和非核心。模型,核心模型公共研发负责,非核

心模型由业务开发进行,共同开发以提高效率。


• 原则三:公共层研发统一运维保障

非核心模型上线并完成相关测试(准确性、确定性、治理)后转交给公共层研

发,由公共层统一运维。





《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4) https://developer.aliyun.com/article/1230767?groupCode=tech_library

相关文章
|
12月前
|
数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(6)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(6)
|
12月前
|
数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(1)
115 0
|
12月前
|
DataWorks 数据可视化 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
|
12月前
|
运维 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(8)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(8)
|
12月前
|
数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2)
|
12月前
|
数据建模 定位技术
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(5)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(5)
|
12月前
|
运维 DataWorks 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(7)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(7)
|
12月前
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
176 0
|
12月前
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
179 0
|
12月前
|
自然语言处理 DataWorks 数据建模
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(6)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(6)
125 0