带你读《升舱 - 数据仓库升级交付标准白皮书》——2.1 数仓升级的三个目标

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 带你读《升舱 - 数据仓库升级交付标准白皮书》——2.1 数仓升级的三个目标

2、数仓升级成功的关键点


通过多个数仓升级项目实践总结及复盘,要一次性把事情做对,完成一次成功的传统数 仓平台升级实施工作难度不亚于飞机在空中更换发动机。总体来看,造成数仓升级实施 难度系数较大的原因主要体现在三个层面:技术方案、迁移方法、实施资源。


在技术方案上,需要对每个技术关键点都能考虑周全,深入探索每个技术细节并进行充 分的论证和测试;在迁移方法上,需要科学完善的实施方法论,充分考虑迁移项目的工 程特点和平滑过渡目标,把迁移风险做到可识别、可分析、可预测、可防范;在实施资 源上,不仅需要团队对于新技术具有前瞻性认知和把控能力,更需要对原有数仓体系的 盘根错节有深入了解,能够在风险发生时从技术、方案、业务等不同层面提出应对方案, 及时化解风险。


管理学大师德鲁克认为,并不是有了工作才有目标,而是相反,有了目标才能确定每个 人的工作。为了成功实施数据仓库升级的既定目标,提升升级交付效率与质量,需要秉 持“三个目标、四个原则,五个关键动作”标准,下文将基于此标准并结合实践案例详 细阐述,图谱如下图所示:


image.png



2.1 数仓升级的三个目标


从我们的调研和实践来看,数据仓库升级不仅仅是一个技术问题,也是一个工程问题, 对企业和实施厂商的协调组织、项目管理、技术掌控、交付能力等提出了全方位考验。 基于实践,我们总结出“数仓升级稳定模型”(图 3),实现数仓升级需要从三方面进 行要素搭建:业务敏捷响应、降本提效、自主开放。


image.png


首先,数据仓库具备业务敏捷响应支撑能力,该能力可以有效应对当今时代业务发展不 确定性和互联网固有特征。相对于传统数据仓库平台升级,则需要考虑具备兼容传统数 仓平台的所有业务处理能力,而兼顾所有业务的同时也带来了问题百出和处理问题低效 的现象。所以,业务敏捷响应可以有效的节约时间实现数据的迁移、抓取等操作,数仓 升级让业务处理更高效。


其次,通过数仓升级可以有效的降低数据仓库的整体拥有成本。长期以来由于国外数据 仓库厂商在数仓建设上存在某种程度的不可替代性,数据仓库市场一直是个卖方市场。 据全球权威 IT 研究与顾问咨询公司 Gartner 公司评测,在数据库领导者象限的某数据 仓库厂商,对应项目基本都是千万级起步,这还不涵盖每年固定支出的高昂服务支持费 用在内;因此,我们希望通过使用成熟的产品、工具和方法论指导降低数据仓库升级和 后期维护整体拥有成本(TCO)。


此外,数仓升级可以打破国外厂商的数据仓库平台的技术封闭性问题,实现技术的自主 可控。传统国外厂商的数据仓库平台均为软硬一体机的输出模式,且一体机中的网络、 存储等对于用户来说是个黑盒;而且随着大数据技术的发展,无法有效与通用大数据技 术体系进行有效融合。因此升级传统数据仓库平台需要保持开放性、以自主可控为重要 目标进行升级,赋能企业的数字化转型。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
25天前
|
存储 人工智能 分布式计算
湖仓实时化升级 :Uniflow 构建流批一体实时湖仓
本文整理自阿里云产品经理李昊哲在Flink Forward Asia 2024流批一体专场的分享,涵盖实时湖仓发展趋势、基于Flink搭建流批一体实时湖仓及Materialized Table优化三方面。首先探讨了实时湖仓的发展趋势和背景,特别是阿里云在该领域的领导地位。接着介绍了Uniflow解决方案,通过Flink CDC、Paimon存储等技术实现低成本、高性能的流批一体处理。最后,重点讲解了Materialized Table如何简化用户操作,提升数据查询和补数体验,助力企业高效应对不同业务需求。
414 18
湖仓实时化升级 :Uniflow 构建流批一体实时湖仓
|
5月前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
30天前
|
人工智能 关系型数据库 MySQL
AnalyticDB MySQL版:云原生离在线一体化数据仓库支持实时业务决策
AnalyticDB MySQL版是阿里云推出的云原生离在线一体化数据仓库,支持实时业务决策。产品定位为兼具数据库应用性和大数据处理能力的数仓,适用于大规模数据分析场景。核心技术包括混合负载、异构加速、智能弹性与硬件优化及AI集成,支持流批一体架构和物化视图等功能,帮助用户实现高效、低成本的数据处理与分析。通过存算分离和智能调度,AnalyticDB MySQL可在复杂查询和突发流量下提供卓越性能,并结合AI技术提升数据价值挖掘能力。
53 16
|
2月前
|
SQL 存储 缓存
EMR Serverless StarRocks 全面升级:重新定义实时湖仓分析
本文介绍了EMR Serverless StarRocks的发展路径及其架构演进。首先回顾了Serverless Spark在EMR中的发展,并指出2021年9月StarRocks开源后,OLAP引擎迅速向其靠拢。随后,EMR引入StarRocks并推出全托管产品,至2023年8月商业化,已有500家客户使用,覆盖20多个行业。 文章重点阐述了EMR Serverless StarRocks 1.0的存算一体架构,包括健康诊断、SQL调优和物化视图等核心功能。接着分析了存算一体架构的挑战,如湖访问不优雅、资源隔离不足及冷热数据分层困难等。
|
2月前
|
SQL 存储 分布式计算
MaxCompute近实时数仓能力升级
本文介绍了阿里云自研的离线实时一体化数仓,重点涵盖MaxCompute和Hologres两大产品。首先阐述了两者在ETL处理、AP分析及Serverless场景中的核心定位与互补关系。接着详细描述了MaxCompute在近实时能力上的升级,包括Delta Table形态、增量计算与查询支持、MCQ 2.0的优化等关键技术,并展示了其性能提升的效果。最后展望了未来在秒级数据导入、多引擎融合及更高效资源利用方面的改进方向。
|
4月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
319 6
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
4月前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
4月前
|
存储 SQL 人工智能
【云栖实录】Hologres3.0全新升级:一体化实时湖仓平台
2024年云栖大会,Hologres 3.0全新升级为一体化实时湖仓平台,通过统一数据平台实现湖仓存储一体、多模式计算一体、分析服务一体、Data+AI 一体,发布 Dynamic Table、External Database、分时弹性、Query Queue、NL2SQL 等众多新的产品能力,实现一份数据、一份计算、一份服务,极大提高数据开发及应用效率。同时,Hologres 的预付费实例年付折扣再降15%,仅需7折,不断帮助企业降低数据管理成本,赋能业务增长。
|
6月前
|
存储 消息中间件 运维
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
招联内部已有 40+ 个项目使用 Apache Doris ,拥有超百台集群节点,个别集群峰值 QPS 可达 10w+ 。通过应用 Doris ,招联金融在多场景中均有显著的收益,比如标签关联计算效率相较之前有 6 倍的提升,同等规模数据存储成本节省超 2/3,真正实现了降本提效。
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
|
7月前
|
存储 数据挖掘 BI
数据仓库深度解析与实时数仓应用案例探析
随着数据量的不断增长和数据应用的广泛深入,数据治理和隐私保护将成为数据仓库建设的重要议题。企业需要建立完善的数据治理体系,确保数据的准确性、一致性和完整性;同时加强隐私保护机制建设,确保敏感数据的安全性和合规性。
758 55