带你读《升舱 - 数据仓库升级交付标准白皮书》——3.1 实施标准路径(上)

简介: 带你读《升舱 - 数据仓库升级交付标准白皮书》——3.1 实施标准路径(上)

3.实施标准与实施路径


在具体如何落地数据仓库平台升级的问题上,我们本着求真务实的态度,坚持从实践中 来到实践中去。毛泽东曾说“只有人们的社会实践,才是人们对于外界认识的真理性的 标准。真理的标准只能是社会的实践。”通过多个数仓升级项目实践总结及复盘,需要 通过数据仓库平台升级动作的标准化,把交付过程中的各个要素和环节有机组织起来, 使数据仓库平台的升级工程规范化、科学化、程序化,提升数据仓库平台升级交付效率 与质量,达成前述升级数仓的三个既定目标。基于项目实践,如图 7 所示,将数仓升级 分为三个主流阶段:升级挑战阶段,明确困难点,后期一一进行突破;标准升级流程阶段, 遵守四个标准,从而促进标准化的成熟和项目落地;升级标准化成熟度阶段,该阶段同 时也反哺第二阶段。


image.png



整体来看,数据仓库平台升级过程的主要挑战可以归纳有如下方面:


实施专业度高


数据仓库平台升级工作一般都要涉及咨询、数据、技术、运营等,交付技术覆盖范围广、 资源需求大,对于交付供应商能力需多方面的考验;而交付供应商常常因行业经验、专 业人员、方案成熟度等方面的不足,导致升级实施存在诸多质量问题和不确定性。


交付验收周期长


数据仓库平台升级都会涉及数据迁移、模型迁移、调度任务迁移以及上下游关联系统协 同等,其交付周期一般以数月为最小单位,期间人员流动风险、需求变动风险等都对项 目工期带来挑战,导致交付的业务价值及质量等级很难做到在线化、可视化评估。


交付生态协同难


数据仓库平台升级工程庞大、环节众多,没有一家公司能够全方面覆盖,往往是多家实 施供应商集成工作模式整合彼此优势资源,但是实施供应商之间在能力匹配上有很大不 确定性。造成此种不确定性的原因往往集中在实施伙伴间能力成长差异性、伙伴内部对 员工的不同组织架构带来的不稳定性以及员工本人对职业路径规划所产生的波动性、伙 伴对行业领域知识的缺乏等,这些知识和能力上的参差不齐使得数据仓库升级实施生态 协同难。


交付过程管控复杂


在实施交付过程中,从需求调研、方案设计、迁移实施到新 / 旧双系统并行试跑,基本 都是在线下由不同角色、甚至不同实施供应商完成的,缺乏项目交付全流程、全生命周 期的数字化工作台承载,很难实现对项目全局掌控,各个环节都容易出现不同类型的问 题与挑战。


数据仓库平台升级实施面临的这些常见挑战,是高标准、高质量、高效率的去实施数仓 升级工程的拦路虎。结合软件工程理论和数据仓库平台升级实施经验,构建标准升级流 程和质量评估标准可以有效降低这些挑战带来的风险,即通过交付标准方案、交付标准 流程、交付标准工具及数字化工作台,提升交付效率与实施质量,降低项目实施门槛与 过程管控复杂度,为“多、快、好、省”数仓升级交付奠定基础。



3.1 实施标准路径



数仓的升级实施流程按照“统一规划,阶段实施”的原则进行建设。从项目生命周期角度,我们将数仓升级实施工作分为两个阶段:轻咨询期和升级建设期。每个不同时期都有服务交付进行兜底管控,同时每一个阶段的产出又是下一个阶段的输入,从而形成一个体系化的升级数据仓库平台的顶层工作任务和路径规划。详情见下图 8:


image.png


为了保证升级工程质量、工期和风险可控,最大限度规避和降低升级过程的诸多挑战,升级过程要求以“交付工具自动化、升级方案规范化、交付内容模板化、交付流程标准化”为宗旨进行实施。


(1)轻咨询期


轻咨询期是数仓升级实现规范化的重要阶段,为确保后续升级工作更具有可落地性、可实施性,该阶段主要工作内容如下:


1)专家咨询与方案输出:需要企业借助一批有传统数据仓库平台升级落地经验的外部专家,结合企业自身业务特点规划升级数据仓库顶层设计,并进行严密的技术可行性论证,产出提供数据仓库迁移工作所需的现状调研与需求分析、方案设计、方案可行性验证、交付实施规划、升级所需软硬件资源规划和容量设计、高可用与容灾设计等 ;


2)项目组织实施机制确定:结合同业数仓升级实施经验,组织构建升级交付阵型,明确组织分工和协调机制 ;


3)前期人员能力培训:进行升级实施前的产品、方案的赋能培训工作,确保企业业务和技术部门以及实施供应商能够及时深入地学习和了解数仓升级规划相关产品、技术和工具 ;


4)环境准备:数据仓库平台升级所需环境资源,比如容量规划等;


5)风险预判与风险对策:升级实施过程潜在风险点的梳理及应对策略。


通常经过轻咨询阶段后,可以输出数据仓库升级实施整体规划,后续的升级建设基于该规划整体推进将实现从宏观到微观的全面落地,下图为数据仓库升级实施规划流程示意图。

image.png

(2)升级建设期


升级实施建设期,在“不改架构,不动流程,尽力兼容,云化升级”的总体原则下,围绕着“不停机迁移与双核心数仓平台并行”目标,我们进一步将升级实施拆解分阶段总结归纳为“五阶十步”,如下图示:


image.png


在具体实施建设期间,高标准、高质量的实施借助标准交付平台和工具的有效利用,通过将交付流程流水线化、工具自动化降低实施厂商人员素质差异带来的交付质量降低风险。实施期间“五阶十步”主要工作内容具体如下,对应产品、工具和平台在后文案例进行介绍。



带你读《升舱 - 数据仓库升级交付标准白皮书》——3.1 实施标准路径(下) https://developer.aliyun.com/article/1242479



相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
5月前
|
存储 分布式计算 关系型数据库
云原生数据仓库AnalyticDB MySQL湖仓版架构升级,持续释放技术红利!
云原生数据仓库AnalyticDB MySQL湖仓版架降价23%!持续提供高性价比的产品服务
|
5月前
|
存储 分布式计算 关系型数据库
|
11月前
|
存储 人工智能 数据挖掘
带你读《升舱 - 数据仓库升级交付标准白皮书》——1、行业趋势与困惑
带你读《升舱 - 数据仓库升级交付标准白皮书》——1、行业趋势与困惑
165 0
|
11月前
|
存储 大数据 项目管理
带你读《升舱 - 数据仓库升级交付标准白皮书》——2.1 数仓升级的三个目标
带你读《升舱 - 数据仓库升级交付标准白皮书》——2.1 数仓升级的三个目标
224 0
|
11月前
|
存储 并行计算 Cloud Native
带你读《升舱 - 数据仓库升级交付标准白皮书》——2.2 数仓升级的四个原则
带你读《升舱 - 数据仓库升级交付标准白皮书》——2.2 数仓升级的四个原则
201 0
|
11月前
|
数据处理 数据库
带你读《升舱 - 数据仓库升级交付标准白皮书》——2.3 升级实施的五大关键点(上)
带你读《升舱 - 数据仓库升级交付标准白皮书》——2.3 升级实施的五大关键点(上)
173 0
|
4月前
|
SQL 关系型数据库 MySQL
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性【1月更文挑战第16天】【1月更文挑战第80篇】
295 4
|
3天前
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库产品使用合集之阿里云云原生数据仓库AnalyticDB PostgreSQL版的重分布时间主要取决的是什么
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
3天前
|
运维 Cloud Native 关系型数据库
云原生数据仓库产品使用合集之原生数据仓库AnalyticDB PostgreSQL版如果是列存表的话, adb支持通过根据某个字段做upsert吗
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
2月前
|
SQL Cloud Native 关系型数据库
AnalyticDB MySQL湖仓版是一个云原生数据仓库
【2月更文挑战第15天】AnalyticDB MySQL湖仓版是一个云原生数据仓库
26 2