《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(4)

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: 《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(4)

《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(3) https://developer.aliyun.com/article/1230931?groupCode=tech_library



三、 数据建模平台建设



DataWorks 数据建模平台是菜鸟、大淘系(淘宝/天猫)、盒马、本地生活等多个部门和阿里云DataWorks 团队共建的基于维度建模的数据数仓建模平台,菜鸟集团作为较早参与的部门,从2020 年开始与DataWorks 团队完成了产品从需求、开发、落地、迭代的整个周期。



1. 智能数据建模平台规划

菜鸟通过对所需功能进行梳理,总结出从规范定义、便捷开发、发布评审、业务管理四个模块来研发这个建模工具:


image.png


1) 规范定义


在前期,菜鸟是没有这个数据建模平台的,大家都是以线下的建模方式,比如对Excel梳理后,进行数据探查之后进行模型的设计,然后再线下进行模型评审。整个模型设计和评审都在线下。最终导致大家数据建模的时候没有形成一个规范,数据开发过程是不严谨的,下游有了大量的引用之后,切换的成本也非常高,模型维护的成本非常高,变得越来越差。所以我们希望将规范的定义搬到线上,上图中列出了线上规范定义的主要内容。



2) 发布评审


之前我们的评审也是在线下进行,在架构师和工程师比较忙的时候,评审流程就不够严谨,甚至没有走评审的过程就直接发布了,所以我们希望将这个功能也搬到线上去。



发布前我们会对表命名、字段命名进行强校验,同时支持多引擎发布,比如我们的离线数据存在MaxCompute 或者Hive 上面,还有一部分数据存在MySQL 或者Oracle 上面等等。影响性检查是模型发布之后,对于下游的引用这个模型的ETL脚本是不是有一些影响,比如有的时候我们新增了一个字段,下游同学使用的时候是select*的方式,而他的表没有新增的这个字段,就会导致下游任务报错。



3) 便捷开发


这是核心重要的一点。我们希望将建模方式从线下搬到线上之后,不要影响大家的开发效率,所以我们设计了各种提高效率的便捷开发功能。




4) 业务管理


这是从使用的角度上来说的。对于研发人员来说,我们有业务分类和数据域的视角,对于业务人员来说,我们提供数仓大图和数据字典的视角。从成本治理的角度来说,比如一些历史上的模型可以做归并或下线。菜鸟集团将以上能力与DataWorks 的数据建模平台紧密结合,沉淀了数仓规划、数据标准、数据建模、数据指标四大核心功能模块,接下来将为大家逐一介绍菜鸟集团的使用情况。


image.png

2. 智能数据建模平台核心功能


image.png





《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(5) https://developer.aliyun.com/article/1230928?groupCode=tech_library

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
3月前
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
7月前
|
SQL 分布式计算 数据挖掘
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
503 63
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
|
6月前
|
存储 消息中间件 Java
抖音集团电商流量实时数仓建设实践
本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享,围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化,实现效率、质量、成本和稳定性全面提升,数据质量达99%以上,任务性能提升70%。未来将聚焦自动化、低代码化与成本优化,探索更高效的流批一体化方案。
412 12
抖音集团电商流量实时数仓建设实践
|
8月前
|
存储 SQL 数据挖掘
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
669 1
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
|
8月前
|
人工智能 自然语言处理 关系型数据库
DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
283 3
|
11月前
|
人工智能 数据挖掘 数据库
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
本文为数据库「拥抱Data+AI」系列连载第1篇,该系列是阿里云瑶池数据库面向各行业Data+AI应用场景,基于真实客户案例&最佳实践,展示Data+AI行业解决方案的连载文章。本篇内容针对电商行业痛点,将深入探讨如何利用数据与AI技术以及数据分析方法论,为电商行业注入新的活力与效能。
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
|
10月前
|
人工智能 数据库 自然语言处理
拥抱Data+AI|DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
「拥抱Data+AI」系列文章由阿里云瑶池数据库推出,基于真实客户案例,展示Data+AI行业解决方案。本文通过钉钉AI助理的实际应用,探讨如何利用阿里云Data+AI解决方案实现智能问数服务,使每个人都能拥有专属数据分析师,显著提升数据查询和分析效率。点击阅读详情。
拥抱Data+AI|DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
|
9月前
|
人工智能 分布式计算 Cloud Native
云原生数据仓库AnalyticDB:深度智能化的数据分析洞察
云原生数据仓库AnalyticDB(ADB)是一款深度智能化的数据分析工具,支持大规模数据处理与实时分析。其架构演进包括存算分离、弹性伸缩及性能优化,提供zero-ETL和APS等数据融合功能。ADB通过多层隔离保障负载安全,托管Spark性能提升7倍,并引入AI预测能力。案例中,易点天下借助ADB优化广告营销业务,实现了30%的任务耗时降低和20%的成本节省,展示了云原生数据库对出海企业的数字化赋能。
345 3
|
11月前
|
人工智能 数据库 决策智能
拥抱Data+AI|如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策
本文为阿里云瑶池数据库「拥抱Data+AI」系列连载第1篇,聚焦电商行业痛点,探讨如何利用数据与AI技术及分析方法论,为电商注入新活力与效能。文中详细介绍了阿里云Data+AI解决方案,涵盖Zero-ETL、实时在线分析、混合负载资源隔离、长周期数据归档等关键技术,帮助企业应对数据在线重刷、实时分析、成本优化等挑战,实现智能化转型。
拥抱Data+AI|如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策