带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(4)

简介: 带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(4)

带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(3) https://developer.aliyun.com/article/1247083?groupCode=taobaotech



维度建模


1.支持数仓已有物理表的、的逆向建模,解决了大淘宝技术已有物理表的冷启动难题。

2.支持维度表、明细表、轻度汇总表和应用层表的正向建模,支持可视化建模、excel文件导入模型及代码建模三种方式。正向可视化建模产品功能汲取了大淘宝技术建模同学沉淀的经典建模理论,依托了MaxCompute的优势,实现了快速复制MC已有物理表的表结构并支持基于已有字段做维度字段冗余的产品功能,此外,汇总表及应用层表可快速引用已创建的指标生成模型表字段。正向建模excel文件导入模型将大淘宝技术同学数年来沉淀的经典模型excel模版产品化,满足部分习惯性excel建模同学的建模需求。正向建模产品功能,极大程度上提升了建模效率。

3.设计完成的模型,支持模型评审及物理表发布到MaxCompute、Hologres等五种引擎。

4.发布成功的模型,实现了和DataStuido(数据开发)的打通,支持自动生成ETL框架代码,数据开发同学只需在此代码基础上补充业务逻辑代码即可,该功能在一定程度上提升了数据开发同学的研发效率;


image.png


以上产品功能能很好的解决模型建设规范性和提效的目的。


开发助手


开发助手可以在代码开发中进行权限提醒、发布管控、临时表自动构建等。


image.png




带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(5) https://developer.aliyun.com/article/1247080?groupCode=taobaotech

相关文章
|
存储 算法 数据挖掘
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(3)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(3)
|
安全 Java 测试技术
带你读《2022技术人的百宝黑皮书》——大淘宝用户平台技术团队单元测试建设(1)
带你读《2022技术人的百宝黑皮书》——大淘宝用户平台技术团队单元测试建设(1)
115 0
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(12)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(12)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(14)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(14)
|
算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(19)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(19)
|
双11
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(11)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(11)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(17)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(17)
|
双11
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(5)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(5)
|
算法 UED
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(20)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(20)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(4)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(4)