治理企业“数据悬河”,阿里云DataWorks全链路数据治理新品发布

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 10月19日,在2021年云栖大会上,阿里云重磅发布DataWorks全链路数据治理产品体系,基于数据仓库,数据湖、湖仓一体等多种大数据架构,DataWorks帮助企业治理内部不断上涨的“数据悬河”,释放企业的数据生产力。

10月19日,在2021年云栖大会上,阿里云重磅发布DataWorks全链路数据治理产品体系,基于数据仓库,数据湖、湖仓一体等多种大数据架构,DataWorks帮助企业治理内部不断上涨的数据悬河,释放企业的数据生产力。

b4c9779b358f8c59923ae2802aa9d8b7.jpeg

阿里巴巴集团副总裁 阿里云智能计算平台事业部高级研究员贾扬清现场分享


“当数据量变得越来越大,单位数据的价值会变得越来越小,全链路数据治理让数据从低质低效向高质高效流动。”

阿里巴巴集团副总裁,阿里云智能计算平台事业部高级研究员贾扬清在现场表示。黄河泥沙的淤积使河床不断抬高,形成了河高于地平面的“地上悬河”,在河南开封,最高的悬河达到10米,并且河床每年都会以10厘米的速度增高,而随之而来的,两边的堤坝也在不断地增高。在企业的数字化转型中,数据量变得越来越大,机器变得越来越多,团队变得越来越大,数字化转型真的变得越来越好吗?对于企业来说,表象的繁荣不代表未来不会发生一场“洪水”。在阿里巴巴,双11已经成为了日常,2021年大数据计算服务MaxCompute的日常数据处理的水位线已经超过2020年双11的峰值,不断增长的数据量已经造成了极大的成本与效率的压力。

机器的效率+人的效率=数据的效率

面对每年如此膨胀的数据,阿里巴巴的解法是通过大数据+AI一体化平台的能力,让数据效率成为企业的核心指标。在机器的效率层面,MaxCompute作为离线数仓,单日数据处理量已经达到1.7EB,但是除了数据量,更应该关注的是MaxCompute仅用10%的机器增长,就支撑了75%的数据量增长。这里面是MaxCompute在底层的存储和性能不断地追求极致的优化,并且连续5年打破TPCx-BigBench 100TB规模性能世界记录。同时Hologres作为实时数仓,峰值每秒写入5.96亿条,单表存储高达2.5PB,基于万亿级数据对外提供多维分析和服务,99.99%的查询可以在80ms以内返回结果。HologresMaxCompute组成离线、实时、分析、服务一体化的数据仓库,从底层就极大地简化了大数据架构的复杂度。机器层面的效率往往容易被衡量,但是人的效率却很难被量化。DataWorks2009年开始成为阿里巴巴集团统一的大数据开发治理平台完成阿里巴巴数据中台的搭建。对一个平台的完善性与易用性,用户往往会用脚投票。目前在DataWorks上构建的大规模协同数据中台的每日活跃用户数已经超过5万,平均每3个阿里巴巴员工就有1个在使用DataWorks,服务阿里巴巴内部几乎所有部门,沉淀的全链路数据治理核心能力超过数百项。FY2020,阿里巴巴通过数据治理的综合收益超过10亿元,可以说大数据开发治理平台DataWorks与计算引擎MaxComputeHologres组成了大数据架构下的“Wintel联盟”,共同提高企业数据的效率。

image.png

建设经验:从小作坊到大平台到敏捷制造

数据治理也好、数据中台也好,从来也不是一个从象牙塔里想出来的产品,而是经过很多年磨出来的。阿里巴巴的数字化转型也经历过刀耕火种的年代,每个业务团队维护多套Hadoop集群,像一个个小作坊:有什么用什么,需要什么加什么,各种技术组件像搭积木一样逐渐堆砌起来。而在这个过程中,经常会非常痛苦,平台发布了一个新的功能,不知道什么原因把另一个组件搞挂了,然后技术人员花很长时间去排查另一个组件有什么问题,修复了一个组件,发布了一下,又把另一个搞挂了,问题不断冒出就像“按下葫芦浮起瓢”,好像永远没有尽头。于是,阿里巴巴开始轰轰烈烈的平台统一计划,搭建起了大平台,把开源的架构改成自研的架构,数据逐渐都迁移到MaxCompute。这个时候数据中台的概念也开始在集团内推广,逐渐将3ONE数据中台方法论落地到DataWorks,完成了阿里巴巴整个数据中台的搭建。至此,从核心的电商天猫淘宝,到饿了么、优酷、盒马等各个业务团队都在同一套大平台上进行一站式的协同数据开发。但是随着大平台的普及,使用的人数越来越多,数据的治理也会越变得更加复杂。在不断产生成千上万张表中,企业无法知道有多少条不规范的语句像白蚁一样正在消耗大量的计算资源;有多少张表正在重复地被复制,制造表象的“数据繁荣”;有多少脏数据在不断生产污染数据的质量;有多少张表正在被不断申请权限使用,面临数据安全的风险。这些问题都对大平台提出了严峻的挑战。于是,大平台逐渐往敏捷制造不断演进,通过全链路的数据治理能力,以全局的视角进行管控,并同时实现数据的决策的下放。

image.png

DataWorks全链路数据治理新品发布

2021云栖大会全链路数据治理峰会,DataWorks在十二年积累的数百项数据开发治理能力之上,重磅发布全链路数据治理系列新品。

数据治理中心

数据治理对于企业的大数据团队,不单是一个技术问题,更是组织和管理问题。对于整个组织来说,如何来衡量数据治理最终的效果?如何更好地发挥组织的主动性?在一些企业当中,会成立了专门的数据委员会,制定一些数据治理的规范,但是发现平台并不能很好地支持这些规范,又或者说企业购买了一个数据平台,但是却不知道如何通过平台来完成数据治理的工作。在阿里巴巴内部经常会参考一个健康分的概念,从组织设计上,数据委员会下面有平台团队,业务团队,以及风控、财务等协同团队。那对于某个业务团队来说,会制定一个今年的目标比如说把健康分从80分提升为90分,从计算、存储等方面入手,不单从业务侧、生产侧开展治理优化工作,有需求也会提给数据平台团队,对引擎和数据平台产品进行优化演进,大家一起朝这个目标努力。组织有了可测量的方式,这些部门就可以把这些数字放到自己的目标里去。同时各类的数据治理战役,各个团队的比武等等长效的运营工作,也可以通过健康分做不断地延展,达到组织数据协同的目的,发挥数据治理组织的主动性。

image.png

DataWorks全新发布的数据治理中心,针对企业计算、存储、研发、质量、安全五个方面形成企业数据治理健康分,以问题驱动的理念,覆盖事前、事中、事后的全链路主动式数据治理数据治理健康度评估企业的数据治理不再一个 “阶段性项目”,而是一个“可持续的运营项目”。

image.png

智能数据建模

企业建了一个平台,做了很多规范治理,对于业务人员的价值到底是什么?省了多少成本,治理了多少问题,对于业务人员相对是无感的。业务方只希望更快地拿到想要的数据,于是原先的数据仓库建设方式更多的是自底向上小步快跑,快速满足需求为先。而如今的全链路数据治理,让数据仓库的建设向规范化,可持续发展方向演进,强调面向业务视角自顶向下进行规范建模与面向开发视角自底向上构建数仓双管齐下。

image.png

DataWorks全新发布智能数据建模,沉淀阿里巴巴数据中台建设方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据业务进行诠释。智能数据建模支持快速数据建模,包含正向建模与逆向建模,提供分钟级的模型创建能力。同时打通数据开发,可以直接将数据模型发布到多个引擎,一键生成质量规则,直接发布表并自动生成ETL简代码。企业的业务人员可以方便地了解数据全貌,快速获取所需的数据指标以及基于数据模型进行数据分析和探查,企业内所有的员⼯可以实现“数同⽂”的快速理解与流通,让数据决策可以实现真正有效的下放!

image.png

盒马鲜生通过DataWorks智能数据建模落地新零售行业数据模型Rex-LDM

同时,现场还发布了DataWorks数据集成实时同步能力、智能数据查询、隐私安全计算、DataWorks开放平台、数据作业迁云工具与迁云专家服务等多项功能。

image.png


中国信通院在20219月发布的《全球数字经济白皮书》报道,去年我国的数字经济规模已经达到5.4万亿美元,占比GDP1/3。在数字经济时代,数据已经成为关键生产要素,就像在农业经济时代和工业经济时代中,土地、劳动力是关键的生产要素。DataWorks通过智能数据建模、全域数据集成、高效数据生产、主动数据管理、全面数据安全、快速数据服务六大全链路数据治理的能力,承载千行百业数字化转型的可能。目前,DataWorks已经在数字政府、新金融、新零售、能源、工业、交通、游戏、教育、数字营销等行业落地数千家客户。

国家电网大数据中心通过DataWorks实现总部+27家省(市)公司PB级数据的统一管理,通过全链路数据中台的治理与监测运营体系,加快电网整体数字化转型升级。

创梦天地基于开源的EMR引擎,用DataWorks替换自研调度系统,企业内部的技术人员可以更加专注业务,助力游戏行业的数据化运营。

亿滋中国通过DataWorks智能数据建模进行全链路的数据模型治理,极大提升数据中台的自服务能⼒,让企业数据决策实现下放,释放新零售的数字化力量。

image.png

企业数字化转型正在进入的深水区,“数据悬河”将逐渐成为企业的“达摩克斯之剑”,阿里云正在与各行各业的客户与合作伙伴一起,通过全链路数据治理,管得好数据、用得好数据,让数据向先进生产力集聚!


DataWorks产品官网:https://www.aliyun.com/product/bigdata/ide

DataWorks钉钉交流群:

image.png


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
5天前
|
SQL DataWorks 关系型数据库
DataWorks报错问题之写入数据时报‘http.client.ResponseNotReady’如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
5天前
|
消息中间件 分布式计算 DataWorks
DataWorks常见问题之查看数据地图模块总的存储大小失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
5天前
|
分布式计算 DataWorks 调度
DataWorks报错问题之dataworks同步clickhouse数据报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
6天前
|
自然语言处理
阿里云百炼大模型服务--企业知识检索问答指南
阿里云百炼提供的企业知识检索问答应用可以帮助大家实现让大模型瞬间“开挂”的技能。结合上传的知识数据,大模型识别解析学习文档内容,最终给出生成式回复。我们在通义千问-Turbo/Max大模型基础上,将文件上传、读取、切片、向量化等过程都开发好预置在应用中,实现开箱即用,更能满足您的日常需求。
|
5天前
|
分布式计算 DataWorks NoSQL
DataWorks报错问题之dataworks数据异常如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1天前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
5天前
|
分布式计算 DataWorks API
DataWorks常见问题之按指定条件物理删除OTS中的数据失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
5天前
|
分布式计算 DataWorks 关系型数据库
DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
9天前
|
DataWorks Java 关系型数据库
DataWorks问题之任务跑成功数据没有成功写入到表里面如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
22 0
|
9天前
|
分布式计算 DataWorks Java
DataWorks问题之数据集成导出分区表的全量数据如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
23 0

相关产品

  • 大数据开发治理平台 DataWorks