4.2 数据仓库升级主要内容
基于以上的原因,申万宏源决定选择全新的云原生数据仓库进行升级,在综合对比多家厂商性能后,选择携手阿里云通过采用 AnalyticDB for PostgreSQL 等云上组件成功将服役了十几年的某厂家传统数据仓库平台云化升级,在云平台底座上,成功搭建了具备数据接入、数据存储、数据计算、横向扩展、数据共享的先进数据仓库平台。阿里云结合多年行业沉淀的申万宏源的 SDOM 模型经验,高效实现了数据模型从原数据仓库向新平台的平滑迁移。申万宏源的数据仓库系统整体性能提升 40% 以上,支撑了数万张核心表,为运营及业务快速发展提供了可靠、高效的云上基础设施环境。该项目的数据仓库平台升级实施涉及一百多套上游业务源系统、三十余套下游系统、两万多个任务、近1000 多个服务接口、500 多 TB 数据(日新增 500 多 GB 数据)的业务规模,完成了几乎不可能完成的任务,整体的迁移过程如下图 13 所示。
由于数据协同的上下游系统较多,原厂家的传统数据仓库平台升级替换耗时约 12 个月,在各方的共同努力下,最终完成所有预计目标的平稳迁移,同时保障现有业务平稳有序运转,帮助该证券公司实现自主可控、成本与风险双降,数据快速赋能业务。
那么,数据仓库升级是如何一步一步展开的?如何通过交付标准化手段,围绕交付标准流程、交付工具及数字化工作台,确保数据仓库迁移高质量高稳定履约,帮助客户数据业务转型升级?以下主要将结合该项目中总结沉淀出的数仓升级经验进行介绍。