《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2) https://developer.aliyun.com/article/1230769?groupCode=tech_library
三、 治理方案
1. 整体方案
基于以上的问题原因分析,我们制定了如下治理方案。
核心策略为以下三点:
1) 盘点存量,掌握数据的整体情况。
2) 规范增量,避免新增模型走老路,重复出现相同问题,考虑到数据的生命周期,历史数据可以先不管。
3) 日常治理保健康,以数据化驱动长期治理。
2. 机制规范
1) 架构分层标准
往年我们关注的是数据视角,今年关注的是业务视角,业务视角核心诉求主要有四点,交付效率、产出时效、质量可靠、成本可控。过去OneData 定义了每一层的作用,但每个层次的分工定位不清晰,针对这些问题重新做了清晰的定义。
应用层核心是专注支持业务,需要考虑研发效率、交付数据口径一致性和稳定性。
通过集市规范来控制复杂度,通过轻度聚合的中间层确保口径统一,通过扁平化设计确保稳定。
公共层的核心是抽象复用来提升效率,需要考虑易用性和稳定性。通过规范和冗余宽表提升复用性,通过解耦来确保稳定性。
ODS 层的核心是合规高效,需要考虑接入效率和性能稳定。通过工具化提升效率、优化治理确保性能的稳定。特别是在数据达到一定量之后要考虑采用merge 的方式接入数据。
2) 集市划分规范
数据集市,是用来满足特定部门或者用户的需求,按照多维的方式进行存储。通过对相似数据业务场景内聚进行抽象分类,以降低ADS 层重复建设和数据管理复杂度,让应用研发更聚焦更高效。
集市划分的原则有以下两点:
• 原则一:以业务场景或者服务对象作为划分原则,对相似数据业务场景内聚抽象进行分类。
• 原则二:集市划分需要统一标准,尽量符合MECE 原则。
3) 公共层共建机制
在建设公共层的建设过程中,我们通常会遇到以下两个痛点:
• 应用研发的痛点:公共层相应效率低。
• 公共层研发的痛点:如果统一承接开发工作,涉及的业务很广泛,研发资源不
足。
为了解决以上两个痛点,我们通过以下核心原则来解决:
• 原则一:公共层开放共建,事后审计治理
应用开发整理需求,把需要下沉的公共维度提给公共层研发,公共开发需求评
估。
• 原则二:以应用需求驱动,设计开发共建
以需求为驱动,拆分出核心模型和非核心。模型,核心模型公共研发负责,非核
心模型由业务开发进行,共同开发以提高效率。
• 原则三:公共层研发统一运维保障
非核心模型上线并完成相关测试(准确性、确定性、治理)后转交给公共层研
发,由公共层统一运维。
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4) https://developer.aliyun.com/article/1230767?groupCode=tech_library