3.实施标准与实施路径
在具体如何落地数据仓库平台升级的问题上,我们本着求真务实的态度,坚持从实践中 来到实践中去。毛泽东曾说“只有人们的社会实践,才是人们对于外界认识的真理性的 标准。真理的标准只能是社会的实践。”通过多个数仓升级项目实践总结及复盘,需要 通过数据仓库平台升级动作的标准化,把交付过程中的各个要素和环节有机组织起来, 使数据仓库平台的升级工程规范化、科学化、程序化,提升数据仓库平台升级交付效率 与质量,达成前述升级数仓的三个既定目标。基于项目实践,如图 7 所示,将数仓升级 分为三个主流阶段:升级挑战阶段,明确困难点,后期一一进行突破;标准升级流程阶段, 遵守四个标准,从而促进标准化的成熟和项目落地;升级标准化成熟度阶段,该阶段同 时也反哺第二阶段。
整体来看,数据仓库平台升级过程的主要挑战可以归纳有如下方面:
实施专业度高
数据仓库平台升级工作一般都要涉及咨询、数据、技术、运营等,交付技术覆盖范围广、 资源需求大,对于交付供应商能力需多方面的考验;而交付供应商常常因行业经验、专 业人员、方案成熟度等方面的不足,导致升级实施存在诸多质量问题和不确定性。
交付验收周期长
数据仓库平台升级都会涉及数据迁移、模型迁移、调度任务迁移以及上下游关联系统协 同等,其交付周期一般以数月为最小单位,期间人员流动风险、需求变动风险等都对项 目工期带来挑战,导致交付的业务价值及质量等级很难做到在线化、可视化评估。
交付生态协同难
数据仓库平台升级工程庞大、环节众多,没有一家公司能够全方面覆盖,往往是多家实 施供应商集成工作模式整合彼此优势资源,但是实施供应商之间在能力匹配上有很大不 确定性。造成此种不确定性的原因往往集中在实施伙伴间能力成长差异性、伙伴内部对 员工的不同组织架构带来的不稳定性以及员工本人对职业路径规划所产生的波动性、伙 伴对行业领域知识的缺乏等,这些知识和能力上的参差不齐使得数据仓库升级实施生态 协同难。
交付过程管控复杂
在实施交付过程中,从需求调研、方案设计、迁移实施到新 / 旧双系统并行试跑,基本 都是在线下由不同角色、甚至不同实施供应商完成的,缺乏项目交付全流程、全生命周 期的数字化工作台承载,很难实现对项目全局掌控,各个环节都容易出现不同类型的问 题与挑战。
数据仓库平台升级实施面临的这些常见挑战,是高标准、高质量、高效率的去实施数仓 升级工程的拦路虎。结合软件工程理论和数据仓库平台升级实施经验,构建标准升级流 程和质量评估标准可以有效降低这些挑战带来的风险,即通过交付标准方案、交付标准 流程、交付标准工具及数字化工作台,提升交付效率与实施质量,降低项目实施门槛与 过程管控复杂度,为“多、快、好、省”数仓升级交付奠定基础。
3.1 实施标准路径
数仓的升级实施流程按照“统一规划,阶段实施”的原则进行建设。从项目生命周期角度,我们将数仓升级实施工作分为两个阶段:轻咨询期和升级建设期。每个不同时期都有服务交付进行兜底管控,同时每一个阶段的产出又是下一个阶段的输入,从而形成一个体系化的升级数据仓库平台的顶层工作任务和路径规划。详情见下图 8:
为了保证升级工程质量、工期和风险可控,最大限度规避和降低升级过程的诸多挑战,升级过程要求以“交付工具自动化、升级方案规范化、交付内容模板化、交付流程标准化”为宗旨进行实施。
(1)轻咨询期
轻咨询期是数仓升级实现规范化的重要阶段,为确保后续升级工作更具有可落地性、可实施性,该阶段主要工作内容如下:
1)专家咨询与方案输出:需要企业借助一批有传统数据仓库平台升级落地经验的外部专家,结合企业自身业务特点规划升级数据仓库顶层设计,并进行严密的技术可行性论证,产出提供数据仓库迁移工作所需的现状调研与需求分析、方案设计、方案可行性验证、交付实施规划、升级所需软硬件资源规划和容量设计、高可用与容灾设计等 ;
2)项目组织实施机制确定:结合同业数仓升级实施经验,组织构建升级交付阵型,明确组织分工和协调机制 ;
3)前期人员能力培训:进行升级实施前的产品、方案的赋能培训工作,确保企业业务和技术部门以及实施供应商能够及时深入地学习和了解数仓升级规划相关产品、技术和工具 ;
4)环境准备:数据仓库平台升级所需环境资源,比如容量规划等;
5)风险预判与风险对策:升级实施过程潜在风险点的梳理及应对策略。
通常经过轻咨询阶段后,可以输出数据仓库升级实施整体规划,后续的升级建设基于该规划整体推进将实现从宏观到微观的全面落地,下图为数据仓库升级实施规划流程示意图。
(2)升级建设期
升级实施建设期,在“不改架构,不动流程,尽力兼容,云化升级”的总体原则下,围绕着“不停机迁移与双核心数仓平台并行”目标,我们进一步将升级实施拆解分阶段总结归纳为“五阶十步”,如下图示:
在具体实施建设期间,高标准、高质量的实施借助标准交付平台和工具的有效利用,通过将交付流程流水线化、工具自动化降低实施厂商人员素质差异带来的交付质量降低风险。实施期间“五阶十步”主要工作内容具体如下,对应产品、工具和平台在后文案例进行介绍。
带你读《升舱 - 数据仓库升级交付标准白皮书》——3.1 实施标准路径(下) https://developer.aliyun.com/article/1242479