带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——一、数据建设与治理的现状与诉求

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——一、数据建设与治理的现状与诉求

一、数据建设与治理的现状与诉求


随着全球数字化进程的加速,企业面临着更加严峻的市场竞争,各行各业的企业都开始建设数据中台。

 

 

image.png

 

1. 当前数据建设与治理所面临的问题


从阿里巴巴数据中台的建设历程,以及阿里云多年在数据中台领域的耕耘中,当前数据建设与治理所面临的问题有:


数据标准问题:烟囱式开发及局部业务服务支撑,导致指标同名不同口径问题频发;历史上不同业务系统逐步迭代上线,相同对象属性编码不一致等问题突出。


数据质量问题:重复建设导致任务链冗长、任务繁多,计算资源紧张,数据时效性不好;口径梳理定义的文档沉淀到开发代码实现之间存在脱节,数据准确性保障风险高。


需求响应问题:烟囱式开发周期长、效率低,面向应用的服务化不足,导致业务响应速度慢,业务不满意的同时技术又觉得没有沉淀与成长;既懂业务又懂数据的人才不足,需求理解到开发实现涉及大量沟通,服务效率较差。


成本资源问题:烟囱式开发的重复建设浪费技术资源;上线难下线更难,源系统或业务变更不能及时反映到数据上,加之数据不标准,研发维护难上加难的同时,大量无用计算和存储造成资源浪费。



2. 构建企业级数据中台的核心诉求


企业构建数据中台既要解决以上所遇到的问题,又有着更高的要求:

 

数据体系化组织:数据中台的数据来自企业的业务系统,而企业中各个业务有着各自独立的系统。系统之间的数据可能存在交叉,全部抽取到数据中台后,需要进行体系化的组织,否则就是一团乱麻,无法快速准确的找到想要的数据。需要一个将数据按照统一的体系来组织,这个体系内,数据标准一致,并且有数据落标后可以被稽核,企业可以获得高质量的,口径统一的,可用性高的数据。


数据高效生产:数据中台来自很多个业务系统,对应着海量的业务分析需求。企业希望数据中台可以快速响应业务端的需求,并且保障数据生产的安全可靠和数据正确。同时,又要降低在生产过程中的各种成本,提升投入产出比。


数据便捷服务:数据中台需要服务业务,需要有便捷的数据消费方式。数据消费需要接入便捷,安全可控,响应及时。


image.png


3. 企业数据能力建设的三个发展阶段


企业构建数据中台,所遇到的问题挑战不是一下子全部出现的,而是在建设历程中逐渐显现出来的。基于阿里巴巴数据中台内部实践经验,企业数据能力建设可以分为三个阶段:

 

在线开发阶段:起步阶段,数据量相对较小,团队规模不大,以满足业务需求为主要目标。随着数据量的增加,人员的扩张,就需要回答数据的价值在哪里的问题,以匹配所投入的成本。自然地,就进入下一阶段。


数据平台构建与管理阶段:数据量级提升,数据来源多样,除了来自业务的取数和基本分析需求之外,开始梳理数据之间的关系,挖掘潜在的价值,同时还需要保障数据的质量,这就是数据资产化。这个阶段的数据平台,除了基本的数据开发功能之外,还需要提供资产管理和质量监测的能力。


数据综合治理阶段:当数据平台内部的建设完备之后,就需要回馈平台外的各个业务。这个回馈不是应答业务的需求,而是通过挖掘出数据的价值,反向来促进业务的发展。

目录
打赏
0
0
0
0
1028
分享
相关文章
从数据风险出发的云上数据安全最佳实践
本文介绍了从数据风险出发的云上数据安全最佳实践,涵盖数据泄露现状及原因分析,以及基于云的安全机制。文章详细探讨了以云为基础实现数据全链路可视可控的方法,包括资产可见可控、数据安全中心、治理闭环和自动化智能化的数据安全治理能力。通过云原生方案,企业可以更高效地识别、预警和处置数据风险,确保数据安全。文中还提到多项免费工具和服务,帮助企业降低数据泄露风险并减少安全投入。
118 60
Java中的数据安全与隐私保护技术
Java中的数据安全与隐私保护技术
Dataphin的数据共享的应用场景和方案
不同的业务场景对数据访问和使用有着各自独特的需求,从简单的数据下载到复杂的跨系统集成,选择合适的数据共享与访问方式至关重要。本文旨在探讨几种常见的Dataphin上的数据共享与访问机制——包括数据复制、数据下载、视图创建、行级及列级权限控制、API数据服务以及JDBC连接等,并分析它们各自的适用场景、优势及限制,以帮助企业更好地根据自身需求做出合理的选择。
192 0
【数据安全】敏感字过滤方案总结
【数据安全】敏感字过滤方案总结
92 1
【数据安全】数据脱敏方案总结
【数据安全】数据脱敏方案总结
291 1
数据治理:强化数据安全与隐私保护的基石
在当今这个数字化时代,数据已成为推动社会进步和企业发展的核心驱动力。从个人消费习惯到企业运营策略,从政府决策支持到科研创新突破,数据无处不在,其价值不言而喻。然而,随着数据量的爆炸性增长和流通范围的扩大,数据安全与隐私保护问题也日益凸显,成为制约数据价值最大化利用的重要瓶颈。因此,构建完善的数据治理体系,特别是强化数据安全与隐私保护,成为了时代发展的必然要求。
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
8056 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案
CDGA|数据要素与数据安全:携手构建可信数据生态的深远探讨
数据要素与数据安全是数字经济时代不可分割的双生子。只有在保障数据安全的前提下,才能充分发挥数据要素的价值,推动数字经济持续健康发展。构建可信数据生态,需要政府、企业、社会组织及广大公众的共同努力,形成合力,共同应对挑战,共创数字经济的美好未来。
双重防护,无懈可击!Python AES+RSA加密方案,构建最强数据安全堡垒
【9月更文挑战第11天】在数字时代,数据安全至关重要。AES与RSA加密技术相结合,构成了一道坚固防线。AES以其高效性保障数据加密,而RSA则确保密钥安全传输,二者相辅相成,提供双重保护。本文通过Python代码示例展示了这一加密方案的魅力,强调了其在实际应用中的重要性和安全性。使用HTTPS等安全协议传输加密密钥和密文,确保数据在数字世界中自由流通而无忧。
150 1
双重防护,无懈可击!Python AES+RSA加密方案,构建最强数据安全堡垒
【8月更文挑战第3天】在数字时代,数据安全至关重要。Python AES+RSA加密方案提供了一种强大且可靠的数据保护方式。AES以高效安全著称,适用于大量数据的快速加密;RSA作为非对称加密技术,确保了密钥传输的安全性。二者结合形成“内外兼修”的加密策略:AES加密数据内容,RSA保护AES密钥,共同构建起数据安全的双重保险。通过示例代码展示了这一加密流程,强调了加密后密钥与密文的安全传输和存储的重要性。在实际应用中,应采用HTTPS等安全协议进行传输,并将数据安全存储于加密的数据库或文件系统中。
127 12