带你读《升舱 - 数据仓库升级交付标准白皮书》——2.1 数仓升级的三个目标

简介: 带你读《升舱 - 数据仓库升级交付标准白皮书》——2.1 数仓升级的三个目标

2、数仓升级成功的关键点


通过多个数仓升级项目实践总结及复盘,要一次性把事情做对,完成一次成功的传统数 仓平台升级实施工作难度不亚于飞机在空中更换发动机。总体来看,造成数仓升级实施 难度系数较大的原因主要体现在三个层面:技术方案、迁移方法、实施资源。


在技术方案上,需要对每个技术关键点都能考虑周全,深入探索每个技术细节并进行充 分的论证和测试;在迁移方法上,需要科学完善的实施方法论,充分考虑迁移项目的工 程特点和平滑过渡目标,把迁移风险做到可识别、可分析、可预测、可防范;在实施资 源上,不仅需要团队对于新技术具有前瞻性认知和把控能力,更需要对原有数仓体系的 盘根错节有深入了解,能够在风险发生时从技术、方案、业务等不同层面提出应对方案, 及时化解风险。


管理学大师德鲁克认为,并不是有了工作才有目标,而是相反,有了目标才能确定每个 人的工作。为了成功实施数据仓库升级的既定目标,提升升级交付效率与质量,需要秉 持“三个目标、四个原则,五个关键动作”标准,下文将基于此标准并结合实践案例详 细阐述,图谱如下图所示:


image.png



2.1 数仓升级的三个目标


从我们的调研和实践来看,数据仓库升级不仅仅是一个技术问题,也是一个工程问题, 对企业和实施厂商的协调组织、项目管理、技术掌控、交付能力等提出了全方位考验。 基于实践,我们总结出“数仓升级稳定模型”(图 3),实现数仓升级需要从三方面进 行要素搭建:业务敏捷响应、降本提效、自主开放。


image.png


首先,数据仓库具备业务敏捷响应支撑能力,该能力可以有效应对当今时代业务发展不 确定性和互联网固有特征。相对于传统数据仓库平台升级,则需要考虑具备兼容传统数 仓平台的所有业务处理能力,而兼顾所有业务的同时也带来了问题百出和处理问题低效 的现象。所以,业务敏捷响应可以有效的节约时间实现数据的迁移、抓取等操作,数仓 升级让业务处理更高效。


其次,通过数仓升级可以有效的降低数据仓库的整体拥有成本。长期以来由于国外数据 仓库厂商在数仓建设上存在某种程度的不可替代性,数据仓库市场一直是个卖方市场。 据全球权威 IT 研究与顾问咨询公司 Gartner 公司评测,在数据库领导者象限的某数据 仓库厂商,对应项目基本都是千万级起步,这还不涵盖每年固定支出的高昂服务支持费 用在内;因此,我们希望通过使用成熟的产品、工具和方法论指导降低数据仓库升级和 后期维护整体拥有成本(TCO)。


此外,数仓升级可以打破国外厂商的数据仓库平台的技术封闭性问题,实现技术的自主 可控。传统国外厂商的数据仓库平台均为软硬一体机的输出模式,且一体机中的网络、 存储等对于用户来说是个黑盒;而且随着大数据技术的发展,无法有效与通用大数据技 术体系进行有效融合。因此升级传统数据仓库平台需要保持开放性、以自主可控为重要 目标进行升级,赋能企业的数字化转型。

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
SQL 存储 大数据
数据仓库(10)数仓拉链表开发实例
拉链表是数据仓库中特别重要的一种方式,它可以保留数据历史变化的过程,这里分享一下拉链表具体的开发过程。 维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记录。
171 13
数据仓库(10)数仓拉链表开发实例
|
4月前
|
SQL 关系型数据库 MySQL
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性【1月更文挑战第16天】【1月更文挑战第80篇】
295 4
|
3天前
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库产品使用合集之阿里云云原生数据仓库AnalyticDB PostgreSQL版的重分布时间主要取决的是什么
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
3天前
|
运维 Cloud Native 关系型数据库
云原生数据仓库产品使用合集之原生数据仓库AnalyticDB PostgreSQL版如果是列存表的话, adb支持通过根据某个字段做upsert吗
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
2月前
|
分布式计算 大数据 Hadoop
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。
254 2
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
|
2月前
|
SQL 数据采集 存储
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。 当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:[数据仓库(11)什么是大数据治理,数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
307 0
|
2月前
|
存储 大数据 数据管理
数据仓库(09)数仓缓慢变化维度数据的处理
数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化,与数据增长较为快速的事实表相比,维度变化相对缓慢。阴齿这个就叫做缓慢变化维。
220 2
数据仓库(09)数仓缓慢变化维度数据的处理
|
2月前
|
SQL Cloud Native 关系型数据库
AnalyticDB MySQL湖仓版是一个云原生数据仓库
【2月更文挑战第15天】AnalyticDB MySQL湖仓版是一个云原生数据仓库
24 2
|
4月前
|
分布式计算 DataWorks 关系型数据库
在云数据仓库AnalyticDB MySQL版中,LIMIT的大小是由系统参数max_limit控制的
【1月更文挑战第7天】【1月更文挑战第31篇】在云数据仓库AnalyticDB MySQL版中,LIMIT的大小是由系统参数max_limit控制的
31 1
|
5月前
|
存储 分布式计算 关系型数据库
云原生数据仓库AnalyticDB MySQL湖仓版架构升级,持续释放技术红利!
云原生数据仓库AnalyticDB MySQL湖仓版架降价23%!持续提供高性价比的产品服务