《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(5) https://developer.aliyun.com/article/1230928?groupCode=tech_library
6. 核心功能—代码模式
代码模式是在研发过程中比较提效的一个功能。有时候上游的产品或者研发发布了功能之后,会给数仓开发同学一个简单的脚本来告诉数仓怎么来取数。数仓开发同学需要评估是不是要在数仓中新增一张表,数仓开发同学希望直接将脚本提交到建模平台上去,这个脚本基于数仓开发同学选择的字段或定义的一些简单函数(比如sum)还有别名,将这些字段自动归并到模型的字段中去,这就是代码模式的主要功能。代码模式必须定义好表命名并保存,才可使用。
7. 核心功能—Excel 代码模式
有些数仓开发同学,对Excel操作很熟练,觉得Excel操作很方便。所以这里设计了Excel批量导入和Excel交互两个功能。
Excel批量导入通过标准模板,定义表名、业务分类、字段、字段类型、字段备注等等,然后将这些模板批量导入到建模平台。另外一个功能是Excel 交互,该功能可与本地Excel无缝衔接。批量导入之后,如果想修改Excel里的某些东西,可以将内容拷贝到本地Excel,修改完后再将本地Excel 拷贝到建模平台,Excel 交互界面右键集成了常用的批量操作,方便使用。
8. 核心功能—发布评审
之前菜鸟的数仓是没有这个环节的,现在希望将这个功能给用起来。评审按照数据域的划分定义评审人,实现评审组功能,一人通过即通过。目前只实现简单评审流程,模型相似度、描述丰富度、血缘等衡量模型好坏的指标、辅助评审都在后续的规划中。这个功能首先是用在模型评审时,其次是用在数据治理时,已经产出的模型也可以根据模型相似度、描述丰富度、血缘等衡量模型好坏的指标,辅助开发同学进行模型的优化。
9. 核心功能—智能翻译
智能翻译是一个比较重量级的功能。企业的数仓中有很多的命名的词典,将常用的中文对应的英文作为数仓的一个规范,目的是为了保证数仓模型有一个统一的辨识度,智能翻译完成中文的翻译与词根的维护。
10. 核心功能—数仓大图
基于业务使用视角,我们提供了数据字典,通过平台导出功能,可以生成Excel 格式的数据字典,包括表名、分层、数据域、业务过程、字段等详细信息,提供给业务人员使用。数仓大图没有在数据建模平台实现,DataWorks 团队正在研发一个数据资产管理平台,将会实现一个3D 的资产全景构建。
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(7) https://developer.aliyun.com/article/1230926?groupCode=tech_library