许多人都会采用飞机作为外出长途旅行的交通工具,经济舱必然是普遍选择,但仍然有不少人惦记着升舱。为什么呢?
从经济舱升级到商务舱或头等舱,乘客的待遇大不相同。不仅能享受空乘更贴心的服务,而且还能品尝到专属的美食盛宴,同时升舱后的座位空间更大,更舒适,甚至可以平躺、舒坦一路。
喜欢舒适感的人自然不在少数,老惦记着“免费升舱”也是理所当然的了,毕竟升舱的体验确实让人享受。
如今,不仅出行服务领域流行“升舱”,“升舱”这个概念也已延伸到了企业数字化转型方面。
从数据驱动到洞察驱动、“升舱”潮流已来
如何从传统商业数据仓库实现一步“升舱”,升级到云原生数据仓库,获得数仓平台的 “头等舱”体验?
在国内券商行业龙头企业——申万宏源证券数据中心经理石宏飞看来,四大现实问题令申万考虑对原有数仓架构进行升级:一是架构老化,从采购服务器建立物理仓库到逻辑仓库,升级建设周期较长。二是平台架构复杂,随着数据处理的多样性和数据量的不断增加,整体资源的利用率不高且运营成本高。
三是架构缺乏灵活性和弹性,无法满足应用需求快速增长的变化,需要快速提升性能,满足业务峰谷的响应时效。四是不可控风险突出,因外部环境多变导致可能的技术断供,同时带来系统安全和数据安全风险。
在感叹大数据时代真的已经到来之时,石宏飞也深刻感受到原有商业数据仓库Teradata已无法满足申万宏源证券日益增长的业务数据需求,迫切需要对数仓平台进行整体升级优化,以支撑上层应用对存储容量、平台性能等方面的更高要求。
经过大量选型测试和公开招标后,申万宏源最终引入了阿里云的云原生数据仓库AnalyticDB,通过升舱计划,有效满足业务对于数据平台实时化、弹性扩展的诉求。回忆项目一期这18个月的升舱过程,石宏飞如数家珍。
“第一个月聚焦升舱调研,主要完成系统调研;第三个月实现典型场景的验证;第六个月完成整体数据仓库迁移方案的验证;第九个月实现生产系统的迁移验证;第十一个月实现原有商业数据仓库Teradata与AnalyticDB平稳同步运行;第十八个月完成整个项目的一期切换上线。”
升仓后,申万宏源实现了数据平台架构的全面升级,由昂贵的Teradata数据仓库一体机封闭体系架构,升级到弹性的云原生体系架构。新平台采用了阿里自研内核、海光X86与麒麟OS,为数仓平台的未来弹性扩展提供了有效保障。借助云原生体系架构,实现与外围工具生态的更好集成与融合。
“AnalyticDB实时处理和高可扩展性,以及实现大规模数据处理的能力得以充分验证,助力申万宏源的数据仓库系统性能提升1倍以上,支撑了数万张核心表,为运营及业务快速发展提供了可靠、高效的基础设施环境。”
此外,不仅作为证券行业“实力派”代表的申万宏源实现了“升舱”转型,广东移动、中国再保险集团、太平洋保险、广东农信、中国邮政、国税总局、郑州商品交易所等30多家金融、电信行业标杆企业,通过AnalyticDB的平滑升级,也相继实现了“升舱”。
阿里云数据库事业部OLAP产品部负责人 林亮
阿里巴巴集团研究员、阿里云数据库事业部OLAP产品部负责人林亮表示,经过多年实践总结,阿里云的升舱解决方案帮助企业从限制业务发展、形如“经济舱”的老技术架构,一步升级到象征“头等舱”、采用云原生架构的云原生数据仓库。
来自专业分析机构Forrester的调研数据显示,金融和电信行业对于云数据仓库的兴趣排在第一位。因业务交易量爆发式增长,要求数据库走向分布式架构,同时对数据价值的重视,驱使这两大行业大量使用云数据仓库。
Forrester首席分析师Danny Mu(穆飞)分析建议,企业应该通过数据分析来产生洞察,并运用数据洞察来引领行动,从而升级成为洞察驱动的企业,这样更有可能获得高速的业务增长。同时,强大的云数据仓库是实现洞察驱动的基础。基于先进的云数仓,整合多方应用,形成洞察系统,让洞察力能够直接推动企业决策和行动。
然后形成先进的流程,通过一个不断迭代优化的闭环,从设立目标、到设计衡量指标,不断实验、验证,根据实际效果反馈,不断提高,逐渐扩大应用规模。最终可以帮助企业和行业组织从数据感知升级到数据驱动,从而实现洞察驱动。
由此而言,从数据驱动到洞察驱动,“升舱”潮流已经来了。
让迁移的重活累活、变成规模化高效交付
纵观全球,在传统数据仓库的升级之路上,也有不少云厂商在推波助澜。近年来国外涌现出了以AWS Redshift、Snowflake、Google BigQuery、Azure Synapse为代表的云原生数仓,有对Teradata、Oracle Exadata、IBM Db2等传统数仓,以及Hadoop系统线下形态的替代和革命之势。
与此同时,传统数仓大厂在国内技术市场投入减少,叠加政策等因素,同时金融、运营商等行业面临数据规模增长,数字化转型和传统数仓升级需求愈发强烈。
为此, 2020年阿里云宣布推出“升舱计划”,旨在通过云原生数据仓库AnalyticDB,助力金融、政务、电信等客户将传统数据仓库全面升级至云原生数据仓库,有效满足企业对数仓产品实时化、弹性扩展、高性价比及安全可控的刚性诉求。
阿里云自研云原生数据仓库AnalyticDB(ADB)包括MySQL和PostgreSQL两个引擎版本。2022年7月最新推出的“数据仓库升舱解决方案”的主角,为AnalyticDB PostgreSQL版本。该版本在2018年就实现了存储引擎和分析引擎的重构,性能提升后满足用户数据多样性、海量高吞吐需求,同时满足传统企业用户容灾、安全等企业级需求。
对于金融、运营商等不同行业用户而言,升舱过程必须注意三个重要环节,林亮指出,一是进行全面系统性架构设计,深入梳理业务架构。二是注重项目管理,不仅要重视客户侧的项目管理、交付,而且也要注意周边合作伙伴的风险应对。三是构建专业团队支持,数仓升级很复杂,完成一次成功的传统数仓平台升级实施工作,难度不亚于飞机在空中飞行时更换发动机。
不过,升舱的关键在于迁移。大家熟知数据库迁移,一直是重活累活,数据仓库迁移更是麻烦事情多。如果不能实现规模化复制交付,那么每个客户迁移时耗费的人力成本会非常高昂。就此,阿里云最新的“升舱解决方案”基于对过往行业用户升舱的总结,特别推出升舱方法论+特色旅行包,包括语法兼容、数据迁移的重要工具,实现端到端平滑升级的“一站式升舱”服务。所以,现在的AnalyticDB数据仓库升舱解决方案也变得越来越规范、安全和高效。
在升舱方法论方面,实行五阶十步。林亮进一步介绍说,围绕调研与设计、测试迁移、生产迁移、系统并行直至项目验收五个阶段展开的落地交付工作,每一阶段都有明确的目标和成果预期,采用瀑布式流程迭代,直至成功把原有数据仓库数据、作业调度、数据模型迁移到以AnalyticDB为主构建的新数据仓库平台。
据阿里云最新发布的数仓升级交付标准化白皮书介绍,数据仓库升级需要秉持“三个目标、四个原则、五个关键动作”标准,包括了敏捷响应、降本提效、自主开放为核心目标,以关联渠道不变、数据体系不变、平台兼容性、云原生改造的四原则,同时加强升级转型认知、内外部高效组织保障、技术可行性严密论证、标准交付平台和工具和建设自主运维能力为五大关键动作,为金融、运营商等行业用户的传统数据仓库升级,提供从规划到实施落地的端到端的企业级升舱解决方案,让迁移的重活累活,变成规模化高效交付的一站式升舱服务。
进一步总结来看,以云原生实时数仓AnalyticDB为代表的新一代数据仓库解决方案带给了行业用户五大好处,可以有效满足用户对于数据平台实时化、弹性扩展、高性价比及安全可控的诉求。
一是敏捷性,三台机器即可完成轻量化部署。
二是云原生,AnalyticDB采用存算分离架构,支持多租户弹性,实现资源和数据共享,激发资源效率,通过快速伸缩和低成本扩展,增加IT投资回报比。
三是实时化,满足业务百万级TPS增删改的实时写入吞吐,支持高并发业务查询、毫秒级响应。实现数据写入实时、查询实时和服务实时,提升业务价值。
四是安全可控,明确保护策略,建立完善数据安全管理体系,以及数据分级分类管理制度。强化对数据的安全访问控制,构建数据全生命周期的安全闭环管理体系。AnalyticDB支持“云计算+安全可信+隐私计算”的下一代数据库安全可信体系,从机密性、完整性、可用性三个维度为业务保驾护航。
五是可规模化复制,该方案已被业内广泛实践验证,通过成熟的升舱方法论和专家服务支持、语法兼容和迁移工具包等,目标在今年内实现“天级别部署、一个月交付、三个月上线”。
就此,阿里巴巴集团副总裁、阿里云智能数据库事业部负责人李飞飞表示,金融、电信等数据密集型行业的用户对云原生数据仓库有着迫切的升级需求。AnalyticDB凭借产品、技术和服务创新,秉承“千仓万库、轻云直上”的核心理念,能够帮助用户在数仓升级的同时,实现IT采购成本(软件+硬件)降低约50%,同时复杂查询性能从分钟级缩减至秒级。
坚持“被集成”开放生态、多措并举加速行业升舱
全球云观察分析认为,AnalyticDB为行业用户提供“头等舱”一样的云数仓服务虽好,但是想要打造“人人可用的数据分析产品与方案”,光靠阿里云一家还不够,联合生态合作伙伴,坚持“被集成”开放生态构建机制,进一步做大“升舱”生态成为其中重要举措。
一方面,赋能“升舱”项目“硬碰硬”,阿里云的硬核技术包括自研向量化执行引擎,多态化存储引擎,基于代价的自适应优化器,租户间不同实例和租户内不同负载的资源隔离,以及存储计算分离形态的云原生架构,对于有着升舱刚需的行业用户而言,各个击破积极应对传统商业数仓面临的硬挑战,可以充分发挥出硬核技术带来的行业价值。
另一方面,硬核技术打底固然重要,但在升舱计划推进中,阿里云与ISV合作也非常重要,与生态合作伙伴携手更利于加速交付。
早在2021年5月,阿里云峰会正式发布面向合作伙伴的云数据库加速器计划,并成立“云数据库生态委员会”,以加速发展云数据库产业生态,助力广大政企、新金融、新零售、运营商、电力、交通、教育、医疗等行业客户转向云数据库系统架构。
现在,以阿里云伙伴“云数据库生态委员会”为基础,针对数据仓库领域,专注数据仓库领域的行业标准,进一步加强技术交流与合作,与伙伴携手一起成立升舱生态联盟委员会。从组织、标准和执行三个层面出发,携手伙伴合作,专注行业标准,形成定期沟通机制,产品和服务融合,聚焦云数仓的行业场景,打造标杆用户案例,实现规模化的复制。
作为阿里云数据库整体生态的一部分,升舱生态专注数据仓库及企业数字化转型过程中的数据分析、治理、业务应用等,加快数仓领域的升级。当前升舱生态联盟委员会包括产品集成伙伴、服务伙伴和分销伙伴,成员主要来自前期与阿里云数据仓库技术合作的伙伴,包括:用友网络、神州数码、浩鲸、中国电子云、中电金信、朗新科技、红网、蓝凌、数澜科技、云和恩墨、新炬等。阿里云与生态伙伴一起、提供全链路的产品和工具体系,包括了云原生数据仓库AnalyticDB、数据库传输工具DTS、数据管理平台DMS等。
坚持“被集成”开放生态,在成立升舱生态联盟委员会的同时,阿里云也推出了升舱生态加速计划,通过产品、服务、渠道、商机联合打造销服一体的伙伴体系。在产品集成打造联合方案方面,与伙伴产品通过兼容认证,形成针对具体业务场景的联合解决方案,并形成通用的数仓替换工具集。
通过领航计划,由阿里云数仓产研团队定期与伙伴交流,共建能力中心,培养MSP伙伴,确保交付生态。通过百城计划激励销售渠道,覆盖二三线市场,并将与伙伴联合营销,通过协议框架,快速拓展商机。
在联合营销拓展商机方面,除了商机共享和标杆案例,阿里云的加速器计划与产业头部大企业决策部门进行直接对接,挖掘创新场景,实现云上应用落地。同时,优先推荐给50+阿里云创新中心地方产业融合阵地,覆盖全国更广泛的产业商机。
进一步分析来看,在云原生实时数仓AnalyticDB深入行业升舱过程中,产品和解决方案集成必然成为升舱加速的基础。目前,阿里云已经与超过70家伙伴完成了产品的集成认证,通过双方产品的兼容认证,满足行业用户对统一业务交付的要求。
在认证过程中,结合双方产品能力互补,形成场景化解决方案和产品组合售卖方案,推广到阿里云全国行业和区域销售通路,实现商机共享,增加营收。
值得一提的是,针对更多的行业应用,阿里云与行业头部伙伴做解决方案集成认证,以及相应的服务认证。针对基础产品和能力,在产品兼容认证方面构建平台和工具的多种生态体系。
全球云观察分析指出,“升舱”举措不仅可以加速行业数字化转型与升级,而且可以进一步释放云原生红利,助力企业数据价值最大化。
针对行业用户的业务创新痛点和旺盛的数仓升级需求,阿里云坚持“被集成”开放生态,数年自研云原生数据仓库,打造AnalyticDB这样的坚实底座,多措并举加速行业升舱,实现从传统数仓到云原生数仓的端到端平滑升级。
在这里,我们可以断言:在探索数智化创新之路上,一个开放、合作、共赢的升舱创新生态正在形成。数据仓库的实时高效已成刚需,面向未来行业数字化转型与升级过程,将会有更多的用户抛弃传统数据仓库,“升舱”至云原生数据仓库必成潮流之选。
到那时,企业数字化也将如出行领域一样,流行“升舱”文化。我们拭目以待。