带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(7)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(7)

带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(6) https://developer.aliyun.com/article/1247079?groupCode=taobaotech



后续规划


目前,大淘宝技术数据模型治理已经取得了非常好的阶段性成果,在产品共建、模型分评估、找数提效方面都有很好的效果产出。但仍然存在一些未解决问题:

1.统一架构和规范难保障:各业务对阿里大数据体系规范的理解程度不一致,集团数据架构和规范的统一难以保障;

2.业务通用层比较薄:历史背景之下,各业务通用层建设比较薄弱,新架构下业务效率和口径存在风险;

3.ADS层持续增长,复杂度难管控:阿里大数据体系规范缺少对应用层的规范,ADS与通用层的边界划分不清晰,ADS的复杂度难以控制;

4.缺乏有效管控:在数据开发与运维层面,阿里巴巴沉淀了大数据体系规范不断与数据平台融合,但是部分标准无法强制执行与数据平台进行集成。数据治理上,当前数据无法有效识别数据表是否无效,导致研发对数据表

不敢下、没精力下;

5.数据建设和使用尚未完全打通:当前数据开发和数据使用尚未完全实现数据打通,定义的模型、开发的数据未在数据地图中有效的实现透出和管理。


下阶段将针对尚未解决的问题进一步深入解决:


1.大淘宝技术模型架构

我们会针对当前存在的架构问题进行升级,从架构原则、设计规范、开发规范、运维规范、治理规范、共建机制等方面进行方法论的升级,以更好的适应当前阶段的数据研发现状,切实的从架构层面为降本、提效提供有效保障。


2.智能建模

继续与DataWorks团队共建,进一步提高通用层、应用层开发效率,从产品层面提供保障。


3.数据地图

官方专辑快速接入:当前官方专辑构建需要专人进行配置和维护,后续可以考虑降低接入成本,下放到各个团队进行自主接入和维护,提升数据专辑的丰富度和易用性。进一步打通数据开发和使用环节:将智能建模的数据与数据地图进一步打通,实现核心模型的快速筛选和透出。


多角度提升表查询和使用的能力:从表说明、表答疑、数据知识提取等方面实现对找表、用表、表答疑的简易度提升,结合文本算法、机器人等技术和产品能力,实现数据知识的智能生成。


4.开发助手

开发助手在表推荐和表管控方面可以进一步升级。


5.大淘宝通用层评估体系升级

针对当前的模型分加入模型血缘相关的信息,做厚大淘宝通用层,为业务提供更好的通用层数据支撑。表自动化下线:实现模型、表、服务的自动化下线&专家经验下线,提高数据下线效率,降低人工介入成本。


DataWorks智能数据建模产品帮助文档:https://help.aliyun.com/document_detail/276018.html


团队介绍


淘宝数据公共层团队是onedata的发源地,构建大淘宝数据公共层服务于内部决策运营、商家生意参谋、品牌数据银行、直播大屏等业务场景,提供稳定、易用、高效的公共层数据;建立大淘宝数据体系的建设和保障规范,通过规数据评估、数据治理来确保阿里体量最大的数据体系健康与稳定;


这是一支务实且不断革新自己的团队,不局限于onedata方法论实践,同时基于实践问题总结,致力于完善onedata方法论升级到onedata2.0。


真诚邀请海内外相关方向的优秀人才加入我们,如果您有兴趣可将简历发至jinshi.gjs#alibaba-inc.com(发送邮件时请将#改为@),期待您的加入!

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
存储 算法 数据挖掘
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(3)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(3)
103 0
|
存储
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(2)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(2)
|
存储 算法 UED
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(1)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(1)
105 0
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(4)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(4)
|
算法
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(7)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(7)
|
双11
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(5)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(5)
|
算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(19)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(19)
|
算法 UED
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(20)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(20)
|
移动开发 weex 双11
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(9)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(9)
104 0
|
双11
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(11)
带你读《2022技术人的百宝黑皮书》——淘宝购物车5年技术升级与沉淀(11)
下一篇
DataWorks