带你读《2022技术人的百宝黑皮书》——大淘宝技术数据模型治理阶段性分享(6) https://developer.aliyun.com/article/1247079?groupCode=taobaotech
后续规划
目前,大淘宝技术数据模型治理已经取得了非常好的阶段性成果,在产品共建、模型分评估、找数提效方面都有很好的效果产出。但仍然存在一些未解决问题:
1.统一架构和规范难保障:各业务对阿里大数据体系规范的理解程度不一致,集团数据架构和规范的统一难以保障;
2.业务通用层比较薄:历史背景之下,各业务通用层建设比较薄弱,新架构下业务效率和口径存在风险;
3.ADS层持续增长,复杂度难管控:阿里大数据体系规范缺少对应用层的规范,ADS与通用层的边界划分不清晰,ADS的复杂度难以控制;
4.缺乏有效管控:在数据开发与运维层面,阿里巴巴沉淀了大数据体系规范不断与数据平台融合,但是部分标准无法强制执行与数据平台进行集成。数据治理上,当前数据无法有效识别数据表是否无效,导致研发对数据表
不敢下、没精力下;
5.数据建设和使用尚未完全打通:当前数据开发和数据使用尚未完全实现数据打通,定义的模型、开发的数据未在数据地图中有效的实现透出和管理。
下阶段将针对尚未解决的问题进一步深入解决:
1.大淘宝技术模型架构
我们会针对当前存在的架构问题进行升级,从架构原则、设计规范、开发规范、运维规范、治理规范、共建机制等方面进行方法论的升级,以更好的适应当前阶段的数据研发现状,切实的从架构层面为降本、提效提供有效保障。
2.智能建模
继续与DataWorks团队共建,进一步提高通用层、应用层开发效率,从产品层面提供保障。
3.数据地图
官方专辑快速接入:当前官方专辑构建需要专人进行配置和维护,后续可以考虑降低接入成本,下放到各个团队进行自主接入和维护,提升数据专辑的丰富度和易用性。进一步打通数据开发和使用环节:将智能建模的数据与数据地图进一步打通,实现核心模型的快速筛选和透出。
多角度提升表查询和使用的能力:从表说明、表答疑、数据知识提取等方面实现对找表、用表、表答疑的简易度提升,结合文本算法、机器人等技术和产品能力,实现数据知识的智能生成。
4.开发助手
开发助手在表推荐和表管控方面可以进一步升级。
5.大淘宝通用层评估体系升级
针对当前的模型分加入模型血缘相关的信息,做厚大淘宝通用层,为业务提供更好的通用层数据支撑。表自动化下线:实现模型、表、服务的自动化下线&专家经验下线,提高数据下线效率,降低人工介入成本。
DataWorks智能数据建模产品帮助文档:https://help.aliyun.com/document_detail/276018.html
团队介绍
淘宝数据公共层团队是onedata的发源地,构建大淘宝数据公共层服务于内部决策运营、商家生意参谋、品牌数据银行、直播大屏等业务场景,提供稳定、易用、高效的公共层数据;建立大淘宝数据体系的建设和保障规范,通过规数据评估、数据治理来确保阿里体量最大的数据体系健康与稳定;
这是一支务实且不断革新自己的团队,不局限于onedata方法论实践,同时基于实践问题总结,致力于完善onedata方法论升级到onedata2.0。
真诚邀请海内外相关方向的优秀人才加入我们,如果您有兴趣可将简历发至jinshi.gjs#alibaba-inc.com(发送邮件时请将#改为@),期待您的加入!