带你读《升舱 - 数据仓库升级交付标准白皮书》——2.3 升级实施的五大关键点(上) https://developer.aliyun.com/article/1242492
(3)技术可行性严密论证
清晰且细致的实施路径和技术细节实地验证是决定技术可行性的关键因素,也决定了对数仓升级全流程的掌控能力,成功的项目经验和平台工具能力是最重要的体现。无数个细节和核心技术点体现在从调研选型到业务割接上线全流程中,只有成功的项目足够多,可复制的经验才能体现在实施路径的方法论中。而平台和工具能力又决定了数仓升级流程的效率和质量,体现的是标准化的能力。技术细节的实地验证决定实际升级过程是否能够按照预期推进,每个技术细节的理论和实际偏差都需要验证,偏差过大可能导致整体方案不可行,比如源端和目的端数仓的数据模型,任务兼容度如果偏差 20% 可能只涉及产品或者应用的少量改造,但是如果偏差 50%,则整体的选型设计方案需推倒重来。与此同时,准确识别核心技术点及其验证方法、前后依赖条件是技术可行性论证的核心,比如兼容度评估、数据及任务迁移、数据校验、业务割接等。
(4)标准的交付平台和工具
完备的实施工具集完备的升级实施工具集是效率大幅提升的重要保障。正如“工欲善其事,必先利其器”,工匠在做工前打磨好工具,操作起来就能得心应手,达到事半功倍的效果。实施工具本身融合了数仓升级设计规范和升级交付产出模板,其产出内容严格按照设计要求,避免人工操作的差异性和不规范性,是交付质量的重要保障手段。同时,工具使用简单、便捷,不需要强依赖经验丰富的专业人员,有效降低了数据仓库升级的实施门槛。
常见的交付实施工具有数据仓库调研评估工具、海量数据迁移同步工具、数据模型迁移工具、数仓作业任务迁移工具、数据校验稽核工具、项目实施流程管控工具等等。
持续的知识库建设作为工程的一个重要组成部分,数据仓库过程升级中存在项目管理、方案、技术问题、最佳实践、赋能培训等方面的材料沉淀,有必要将实施过程积累下来的技术、经验记录等记录在标准文件中。以免因技术人员的流动而使方案或技术流失,从而方便操作人员经过短期培训,快速掌握云上数据仓库的操作技术;同时,在升级实施的各个阶段,需要有可视化工作台将完成的阶段性任务进行统一组织管理。
(5)自主运维能力建设
数仓升级是客户、ISV、数仓产品及服务提供商通力合作的过程,数仓建设完成后客户的自主运维能力是客户关注的核心问题之一。首先自主运维能力不是一蹴而就的,建议设置短中长期规划并配备相应的组织人员支撑规划。短期以产品及服务提供商为主客户为辅,中期以客户为主产品及服务提供商为辅,长期目标是客户自主运维、产品及服务提供商承担应急处理的方式;其次,自主运维能力需要理论加实践的结合,如果只是进行一些理论或者技术宣讲,最后大概率只会沦为一些归档文件,自主运维能力必须建立在运维实践的基础上,反复沉淀优化运维和应急资产,迭代组织结构和效率;
最后,从数仓升级建设开始,客户人员端到端深度参与也非常重要,这不仅是了解从选型、设计、迁移、优化至运维的契机,也是一个业务和技术双向赋能的过程,每个技术细节的可选方案、权衡取舍都是个人运维能力和团队自主运维能力提升的一小步。