现代数据栈作为与数据分析相关的技术栈,具有云原生的特性,它与传统的数据平台相比较,降低了数据使用的技术门槛,也能满足用户日益扩大的数据需求。时下,现代数据栈也繁衍出越来越多的产品。
2022年7月12日,在CSDN云原生系列在线峰会第13期“现代数据栈峰会”上,快用云科联合创始人阎志涛分享了《Data Modeling in Modern Data Stack》,他表示,企业上云是不可逆转的趋势,企业使用数据进行驱动也是不可逆转的趋势。
什么是数据建模
传统数据栈的数据,一般来源于公司或企业本身的数据库,而现代数据栈则是从各大SaaS中获取数据。现代数据技术栈通常是指构成云原生数据平台的一组技术,对比传统的数据平台,使用它们可以降低复杂度。现代数据技术栈具有以云端数仓为中心、易用设计、便宜且按使用收费的特点。
数据建模的核心逻辑是依据业务需求,分析师去理解和建模,然后工程师将模型生成出来,形成最终的数据结构。
数据模型按不同的应用层次分成三种类型:概念数据模型、逻辑数据模型、物理数据模型。整个数据建模的过程就是从概念模型到逻辑模型再到物理模型。
数据建模的具体实施过程分为数据清洗、数据转换和数据丰富。