带你读《升舱 - 数据仓库升级交付标准白皮书》——2.1 数仓升级的三个目标

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 带你读《升舱 - 数据仓库升级交付标准白皮书》——2.1 数仓升级的三个目标

2、数仓升级成功的关键点


通过多个数仓升级项目实践总结及复盘,要一次性把事情做对,完成一次成功的传统数 仓平台升级实施工作难度不亚于飞机在空中更换发动机。总体来看,造成数仓升级实施 难度系数较大的原因主要体现在三个层面:技术方案、迁移方法、实施资源。


在技术方案上,需要对每个技术关键点都能考虑周全,深入探索每个技术细节并进行充 分的论证和测试;在迁移方法上,需要科学完善的实施方法论,充分考虑迁移项目的工 程特点和平滑过渡目标,把迁移风险做到可识别、可分析、可预测、可防范;在实施资 源上,不仅需要团队对于新技术具有前瞻性认知和把控能力,更需要对原有数仓体系的 盘根错节有深入了解,能够在风险发生时从技术、方案、业务等不同层面提出应对方案, 及时化解风险。


管理学大师德鲁克认为,并不是有了工作才有目标,而是相反,有了目标才能确定每个 人的工作。为了成功实施数据仓库升级的既定目标,提升升级交付效率与质量,需要秉 持“三个目标、四个原则,五个关键动作”标准,下文将基于此标准并结合实践案例详 细阐述,图谱如下图所示:


image.png



2.1 数仓升级的三个目标


从我们的调研和实践来看,数据仓库升级不仅仅是一个技术问题,也是一个工程问题, 对企业和实施厂商的协调组织、项目管理、技术掌控、交付能力等提出了全方位考验。 基于实践,我们总结出“数仓升级稳定模型”(图 3),实现数仓升级需要从三方面进 行要素搭建:业务敏捷响应、降本提效、自主开放。


image.png


首先,数据仓库具备业务敏捷响应支撑能力,该能力可以有效应对当今时代业务发展不 确定性和互联网固有特征。相对于传统数据仓库平台升级,则需要考虑具备兼容传统数 仓平台的所有业务处理能力,而兼顾所有业务的同时也带来了问题百出和处理问题低效 的现象。所以,业务敏捷响应可以有效的节约时间实现数据的迁移、抓取等操作,数仓 升级让业务处理更高效。


其次,通过数仓升级可以有效的降低数据仓库的整体拥有成本。长期以来由于国外数据 仓库厂商在数仓建设上存在某种程度的不可替代性,数据仓库市场一直是个卖方市场。 据全球权威 IT 研究与顾问咨询公司 Gartner 公司评测,在数据库领导者象限的某数据 仓库厂商,对应项目基本都是千万级起步,这还不涵盖每年固定支出的高昂服务支持费 用在内;因此,我们希望通过使用成熟的产品、工具和方法论指导降低数据仓库升级和 后期维护整体拥有成本(TCO)。


此外,数仓升级可以打破国外厂商的数据仓库平台的技术封闭性问题,实现技术的自主 可控。传统国外厂商的数据仓库平台均为软硬一体机的输出模式,且一体机中的网络、 存储等对于用户来说是个黑盒;而且随着大数据技术的发展,无法有效与通用大数据技 术体系进行有效融合。因此升级传统数据仓库平台需要保持开放性、以自主可控为重要 目标进行升级,赋能企业的数字化转型。

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
5月前
|
SQL 存储 缓存
顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%
顺丰科技引入 Doris 替换 Presto,在内部可视化数据自助分析工具丰景台场景广泛应用。目前,顺丰临时查询业务、丰景台报表业务的 Presto 场景已经 100% 切换到 Doris 集群中,日均查询量 100W+。并实现 P95 性能提升近 3 倍,硬件资源节省达 48% 显著收益。
135 9
顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%
|
14天前
|
存储 SQL 机器学习/深度学习
一文辨析:数据仓库、数据湖、湖仓一体
本文深入解析数据仓库、数据湖与湖仓一体的技术原理与适用场景。数据仓库结构严谨、查询高效,适合处理结构化数据;数据湖灵活开放,支持多模态数据,但治理难度高;湖仓一体融合两者优势,实现低成本存储与高效分析,适合大规模数据场景。文章结合企业实际需求,探讨如何选择合适的数据架构,并提供湖仓一体的落地迁移策略,助力企业提升数据价值。
一文辨析:数据仓库、数据湖、湖仓一体
|
26天前
|
存储 机器学习/深度学习 数据采集
数据湖 vs 数据仓库:大厂为何总爱“湖仓并用”?
数据湖与数据仓库各有优劣,湖仓一体架构成为趋势。本文解析二者核心差异、适用场景及治理方案,助你选型落地。
数据湖 vs 数据仓库:大厂为何总爱“湖仓并用”?
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
516 3
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
9月前
|
存储 人工智能 分布式计算
湖仓实时化升级 :Uniflow 构建流批一体实时湖仓
本文整理自阿里云产品经理李昊哲在Flink Forward Asia 2024流批一体专场的分享,涵盖实时湖仓发展趋势、基于Flink搭建流批一体实时湖仓及Materialized Table优化三方面。首先探讨了实时湖仓的发展趋势和背景,特别是阿里云在该领域的领导地位。接着介绍了Uniflow解决方案,通过Flink CDC、Paimon存储等技术实现低成本、高性能的流批一体处理。最后,重点讲解了Materialized Table如何简化用户操作,提升数据查询和补数体验,助力企业高效应对不同业务需求。
805 18
湖仓实时化升级 :Uniflow 构建流批一体实时湖仓
|
7月前
|
存储 Cloud Native 数据管理
《云原生数据仓库:原理与实践》,深入浅出助力企业数智化升级
开启AI背景下的数据管理新时代,探索云原生数据仓库的核心技术
|
7月前
|
存储 分布式计算 数据处理
湖仓实时化升级 :Uniflow 构建流批一体实时湖仓
湖仓实时化升级 :Uniflow 构建流批一体实时湖仓
143 1
|
9月前
|
人工智能 关系型数据库 MySQL
AnalyticDB MySQL版:云原生离在线一体化数据仓库支持实时业务决策
AnalyticDB MySQL版是阿里云推出的云原生离在线一体化数据仓库,支持实时业务决策。产品定位为兼具数据库应用性和大数据处理能力的数仓,适用于大规模数据分析场景。核心技术包括混合负载、异构加速、智能弹性与硬件优化及AI集成,支持流批一体架构和物化视图等功能,帮助用户实现高效、低成本的数据处理与分析。通过存算分离和智能调度,AnalyticDB MySQL可在复杂查询和突发流量下提供卓越性能,并结合AI技术提升数据价值挖掘能力。
206 16
|
10月前
|
SQL 存储 缓存
EMR Serverless StarRocks 全面升级:重新定义实时湖仓分析
本文介绍了EMR Serverless StarRocks的发展路径及其架构演进。首先回顾了Serverless Spark在EMR中的发展,并指出2021年9月StarRocks开源后,OLAP引擎迅速向其靠拢。随后,EMR引入StarRocks并推出全托管产品,至2023年8月商业化,已有500家客户使用,覆盖20多个行业。 文章重点阐述了EMR Serverless StarRocks 1.0的存算一体架构,包括健康诊断、SQL调优和物化视图等核心功能。接着分析了存算一体架构的挑战,如湖访问不优雅、资源隔离不足及冷热数据分层困难等。
|
10月前
|
SQL 存储 分布式计算
MaxCompute近实时数仓能力升级
本文介绍了阿里云自研的离线实时一体化数仓,重点涵盖MaxCompute和Hologres两大产品。首先阐述了两者在ETL处理、AP分析及Serverless场景中的核心定位与互补关系。接着详细描述了MaxCompute在近实时能力上的升级,包括Delta Table形态、增量计算与查询支持、MCQ 2.0的优化等关键技术,并展示了其性能提升的效果。最后展望了未来在秒级数据导入、多引擎融合及更高效资源利用方面的改进方向。

热门文章

最新文章