带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(4)

简介: 带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(4)

带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(3) https://developer.aliyun.com/article/1247083?groupCode=taobaotech



维度建模


1.支持数仓已有物理表的、的逆向建模,解决了大淘宝技术已有物理表的冷启动难题。

2.支持维度表、明细表、轻度汇总表和应用层表的正向建模,支持可视化建模、excel文件导入模型及代码建模三种方式。正向可视化建模产品功能汲取了大淘宝技术建模同学沉淀的经典建模理论,依托了MaxCompute的优势,实现了快速复制MC已有物理表的表结构并支持基于已有字段做维度字段冗余的产品功能,此外,汇总表及应用层表可快速引用已创建的指标生成模型表字段。正向建模excel文件导入模型将大淘宝技术同学数年来沉淀的经典模型excel模版产品化,满足部分习惯性excel建模同学的建模需求。正向建模产品功能,极大程度上提升了建模效率。

3.设计完成的模型,支持模型评审及物理表发布到MaxCompute、Hologres等五种引擎。

4.发布成功的模型,实现了和DataStuido(数据开发)的打通,支持自动生成ETL框架代码,数据开发同学只需在此代码基础上补充业务逻辑代码即可,该功能在一定程度上提升了数据开发同学的研发效率;


image.png


以上产品功能能很好的解决模型建设规范性和提效的目的。


开发助手


开发助手可以在代码开发中进行权限提醒、发布管控、临时表自动构建等。


image.png




带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(5) https://developer.aliyun.com/article/1247080?groupCode=taobaotech

相关文章
|
机器学习/深度学习 编解码 计算机视觉
【APFN】从大佬论文中探索如何分析改进金字塔网络
【APFN】从大佬论文中探索如何分析改进金字塔网络
558 0
|
SQL 关系型数据库 分布式数据库
Communications link failure
Communications link failure
1079 1
|
6月前
|
安全 Linux 数据安全/隐私保护
​如何安装 telnet-0.17-65.el7_8.x86_64.rpm(CentOS 7 RPM 安装详细步骤)​
Telnet是用于远程登录的客户端工具,适用于测试网络连接,但因不加密,存在安全风险,建议在受控环境中使用。本文介绍在CentOS/RHEL 7系统上通过rpm或yum命令安装Telnet的方法,并验证安装结果。
1838 0
|
人工智能
新手必看,写歌词的技巧和方法新分享,妙笔生词AI智能写歌词软件
对于新手,写歌词不再难。本文分享了写歌词的实用技巧,如积累生活素材、明确主题、合理安排主副歌、简洁有力的语言表达等。推荐使用“妙笔生词智能写歌词软件”,其AI功能可助你灵感不断,轻松创作。
|
11月前
|
关系型数据库 MySQL 分布式数据库
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。
|
11月前
|
文字识别 监控 Java
顺丰同城抢单辅助脚本,顺丰骑士抢单辅助免封号,自动抢单神器【java版开源】
这是一套OCR实时检测订单列表并自动右滑的完整代码方案,适用于学习研究。代码包含四个主要模块:OCR处理(文字识别)、价格分析
|
安全 算法 数据可视化
认识Glitch到攻击BootROM
认识Glitch到攻击BootROM
543 0
|
边缘计算 人工智能 物联网
传统架构与RISC-V架构有什么区别?
计算机架构的发展经历了多个阶段,从最早的CISC(复杂指令集计算机)到后来的RISC(精简指令集计算机)。RISC-V作为一种新兴的RISC架构,以其开放性和模块化设计受到广泛关注。
544 2
|
前端开发 Java 应用服务中间件
Spring Boot自动配置详解
Spring Boot自动配置详解
|
数据挖掘
SPSS线性回归
SPSS线性回归
463 0