《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(6)

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(6)

《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(5) https://developer.aliyun.com/article/1230928?groupCode=tech_library




6. 核心功能—代码模式


image.png


代码模式是在研发过程中比较提效的一个功能。有时候上游的产品或者研发发布了功能之后,会给数仓开发同学一个简单的脚本来告诉数仓怎么来取数。数仓开发同学需要评估是不是要在数仓中新增一张表,数仓开发同学希望直接将脚本提交到建模平台上去,这个脚本基于数仓开发同学选择的字段或定义的一些简单函数(比如sum)还有别名,将这些字段自动归并到模型的字段中去,这就是代码模式的主要功能。代码模式必须定义好表命名并保存,才可使用。



7. 核心功能—Excel 代码模式


有些数仓开发同学,对Excel操作很熟练,觉得Excel操作很方便。所以这里设计了Excel批量导入和Excel交互两个功能。


image.png


Excel批量导入通过标准模板,定义表名、业务分类、字段、字段类型、字段备注等等,然后将这些模板批量导入到建模平台。另外一个功能是Excel 交互,该功能可与本地Excel无缝衔接。批量导入之后,如果想修改Excel里的某些东西,可以将内容拷贝到本地Excel,修改完后再将本地Excel 拷贝到建模平台,Excel 交互界面右键集成了常用的批量操作,方便使用。



8. 核心功能—发布评审


image.png



之前菜鸟的数仓是没有这个环节的,现在希望将这个功能给用起来。评审按照数据域的划分定义评审人,实现评审组功能,一人通过即通过。目前只实现简单评审流程,模型相似度、描述丰富度、血缘等衡量模型好坏的指标、辅助评审都在后续的规划中。这个功能首先是用在模型评审时,其次是用在数据治理时,已经产出的模型也可以根据模型相似度、描述丰富度、血缘等衡量模型好坏的指标,辅助开发同学进行模型的优化。



9. 核心功能—智能翻译


image.png



智能翻译是一个比较重量级的功能。企业的数仓中有很多的命名的词典,将常用的中文对应的英文作为数仓的一个规范,目的是为了保证数仓模型有一个统一的辨识度,智能翻译完成中文的翻译与词根的维护。




10. 核心功能—数仓大图


image.png


基于业务使用视角,我们提供了数据字典,通过平台导出功能,可以生成Excel 格式的数据字典,包括表名、分层、数据域、业务过程、字段等详细信息,提供给业务人员使用。数仓大图没有在数据建模平台实现,DataWorks 团队正在研发一个数据资产管理平台,将会实现一个3D 的资产全景构建。




《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(7) https://developer.aliyun.com/article/1230926?groupCode=tech_library


相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
5月前
|
存储 数据采集 JavaScript
深入理解数仓开发(一)数据技术篇之日志采集
深入理解数仓开发(一)数据技术篇之日志采集
|
5月前
|
消息中间件 关系型数据库 Kafka
深入理解数仓开发(二)数据技术篇之数据同步
深入理解数仓开发(二)数据技术篇之数据同步
|
3月前
|
DataWorks 负载均衡 Serverless
实时数仓 Hologres产品使用合集之如何导入大量数据
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
SQL 消息中间件 OLAP
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
52 1
|
3月前
|
SQL DataWorks 数据库连接
实时数仓 Hologres操作报错合集之如何将物理表数据写入临时表
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
SQL 分布式计算 关系型数据库
实时数仓 Hologres操作报错合集之指定主键更新模式报错主键数据重复,该如何处理
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
SQL 分布式计算 MaxCompute
实时数仓 Hologres产品使用合集之如何在插入数据后获取自增的id值
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
实时数仓 Hologres产品使用合集之如何在插入数据后获取自增的id值
|
4月前
|
Cloud Native 关系型数据库 新能源
|
3月前
|
存储 搜索推荐 关系型数据库
实时数仓 Hologres产品使用合集之如何在新增列的时候将历史数据也补上默认值
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
存储 关系型数据库 分布式数据库
实时数仓 Hologres产品使用合集之对于大量数据的写入,该如何优化
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。

热门文章

最新文章