《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(2) https://developer.aliyun.com/article/1230932?groupCode=tech_library
二、 模型管理整体规划
1. 数仓规范化-菜鸟模型管理整体目标
菜鸟数仓从稳定性、扩展性、时效性、易用性和成本几大方面制定了模型管理的目标。
1) 稳定性:完善我们数据产出时效和数据质量稳定性,以我们的值班起夜次数和基线破线率、数据质量工单主动发现率为目标。
2) 扩展性:提升模型变化的兼容性,达到底层业务变动与上层需求变动对模型冲击最小化,以业务需求支持效率和业务模块新建核心表数量为目标。
3) 时效型:提升数据模型产出时效以及需求响应速度,以值班起夜次数和业务需求及时交付率为目标。
4) 易用性:降低下游使用门槛,复杂逻辑前置,通过冗余维度和事实表,进行公共计算逻辑下沉,明细与汇总共存等为业务提供灵活性,以数仓丰富度为目标。
5) 成本:避免烟囱式的重复建设以及优化不合理任务消耗,节约计算、存储成本,以成本执行率为目标。
2. 数仓规范化-菜鸟模型管理整体方案
围绕以上5 点目标,我们的模型管理方案主要包含两部分,分别是模型线上化与模型管理&评估。
模型线上化,我们需要有“数据架构委员会”这样的组织保障团队,即搭建架构师团队,并将模型管理责任到数据负责人;接着我们需拟定数仓的规范制度,例如数据模型规范、数仓公共开发规范、数仓命名规范等;最后我们将规范制度和模型负责人通过产品工具DataWorks 智能数据建模产品进行落地。完成模型线上化只是第一步,接下来模型管理&评估是我们的重点,我们要做到事前模型评审、事中模型评估打分、事后模型治理推送,实现模型管理的闭环,促进模型不断优化和完善。
模型线上化主要分为正向建模和逆向建模2 种方式:
• 正向建模:新模型通过DataWorks 智能建模平台完成模型线上设计、评审、发布,实现模型后续线上化管理。
• 逆向建模:存量模型借助DataWorks 智能建模平台逆向导入的方式实现模型线上化管理,同时也能对我们数仓模型做一次全面的盘点。
3. 数仓规范化-正向建模实施流程
正向建模实施流程分为七个步骤,通过DataWorks 的数据建模即可实现,如下图所示:
4. 数仓规范化-逆向建模实施流程
逆向建模实施流程分为五个步骤:
通过逆向建模,我们对数仓的业务过程有了更全面清晰的认识和了解,同时对历史无人维护、低价值模型,进行了下线。最终完成了存量模型100%线上化管理。我们在逆向建模过程中也发现一些问题,多年积攒下来的历史包袱,导致数据质量存在风险;多套规范并存,导致命名混乱;相似模型和低价值模型较多。
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(4) https://developer.aliyun.com/article/1230930?groupCode=tech_library