带你读《升舱 - 数据仓库升级交付标准白皮书》——2.2 数仓升级的四个原则

简介: 带你读《升舱 - 数据仓库升级交付标准白皮书》——2.2 数仓升级的四个原则

2.2 数仓升级的四个原则


要达成传统数据仓库升级成功的三个目标,我们需要的不仅仅是一套技术交付方案,更 需要一套能够指引行动的“原则”。正如雷 - 达里奥在《原则》一书中提到:原则犹如 指引行动的“灯塔”,它连接着我们的目标与行动。解决不确定性靠敏捷、解决复杂性 靠原则,越是复杂的系统越需要一套原则来保证。


过去以国外厂商为主导的数据仓库平台很好地解决了企业从零到一的取数、用数问题。 经过多年的长期迭代建设和大量投入,在现有数据仓库平台体系内积累了许多符合企业自身业务需求的经验和实践,比如在数据架构上采用分层设计思想初步实现了将数据分 类处理、建设了大量主题数据模型、建设了统一的数据交换平台,这些都是企业多年经 营的心血和结晶,是最重要的数据资产之一,数据仓库平台的升级要尽可能考虑复用企 业现有投入,把企业花了大力气积累的数据资产平滑过渡到新的数据仓库平台,避免推 倒重来的重复建设开销。


如下图所示,我们将高效实现数仓升级所需要的原则总结为“四边形”原则:


image.png


该模型可细化解读为如下四个方面:


1)原关联上下游渠道不受影响:升级数据仓库涉及到对现网上下游多种类型系统的数 据集成工作,要确保升级数仓前后业务渠道和系统功能不变、数据交换平台功能不变、 批量调度平台功能不变。


2)原数仓平台数据体系不变:原数仓平台通过分层设计的数据治理模型不变,比如 ODS、数据缓冲层、基础数据层、公共汇总层、数据集市等能在新数仓平台复用。


3)原数仓平台兼容性:具有对原有数据仓库平台一定功能上的的兼容能力,确保对原 数据仓库平台有一定的使用习惯和功能上的兼容能力。


4)采用云原生技术进行优化改造:考虑技术前瞻性、时代必然性,采用云原生组件对 传统数仓平台进行优化改造,并且改造后的业务功能不受影响。


基于以上四个原则,采用云原生组件进行传统数据仓库优化升级可以让企业在云计算时 代充分享受云计算的红利。云计算的本质是随着虚拟化技术的突破而带来了用虚拟化技 术高效使用来池化底层的硬件资源,最重要的一点是利用好云原生数据仓库的存储和计 算资源服务化特性,让用户根据自身的需求灵活选择资源规格、并根据数据量增长需求 随时变更资源配置,还能做到对上层应用无感知,达到投入资源收益最大化;此外,分 布式并行计算、透明可扩展、高可用、同城容灾等都是传统企业长期以来功能刚需,是 云上数据仓库在云上与生俱来的能力,可以让企业实现开箱即用的良好体验;因此,企 业在升级传统数仓时选型一套经过大规模验证的、用于支撑新数据仓库平台生产运行的 IaaS 和 PaaS 平台,可以让升级工作事半功倍。

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
SQL 存储 大数据
数据仓库(10)数仓拉链表开发实例
拉链表是数据仓库中特别重要的一种方式,它可以保留数据历史变化的过程,这里分享一下拉链表具体的开发过程。 维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记录。
171 13
数据仓库(10)数仓拉链表开发实例
|
4月前
|
SQL 关系型数据库 MySQL
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性【1月更文挑战第16天】【1月更文挑战第80篇】
295 4
|
3天前
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库产品使用合集之阿里云云原生数据仓库AnalyticDB PostgreSQL版的重分布时间主要取决的是什么
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
3天前
|
运维 Cloud Native 关系型数据库
云原生数据仓库产品使用合集之原生数据仓库AnalyticDB PostgreSQL版如果是列存表的话, adb支持通过根据某个字段做upsert吗
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
2月前
|
分布式计算 大数据 Hadoop
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。
254 2
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
|
2月前
|
SQL 数据采集 存储
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。 当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:[数据仓库(11)什么是大数据治理,数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
307 0
|
2月前
|
存储 大数据 数据管理
数据仓库(09)数仓缓慢变化维度数据的处理
数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化,与数据增长较为快速的事实表相比,维度变化相对缓慢。阴齿这个就叫做缓慢变化维。
220 2
数据仓库(09)数仓缓慢变化维度数据的处理
|
2月前
|
SQL Cloud Native 关系型数据库
AnalyticDB MySQL湖仓版是一个云原生数据仓库
【2月更文挑战第15天】AnalyticDB MySQL湖仓版是一个云原生数据仓库
24 2
|
3月前
|
SQL 存储 数据管理
阿里云视觉智能开放平台的逻辑数仓基于统一的SQL语法
【2月更文挑战第9天】阿里云视觉智能开放平台的逻辑数仓基于统一的SQL语法
52 2
|
4月前
|
存储 关系型数据库 MySQL
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表【1月更文挑战第16天】【1月更文挑战第78篇】
215 3