阿里云发布《升舱-数仓升级交付标准化》白皮书,为申万宏源等客户提供“一步升舱”服务

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 阿里云正式发布《升舱-数据仓库升级交付标准化》白皮书,针对传统数据库仓库升级交付的方法、工具、平台等体系化建设提供最佳实践指引。

在「数据库升舱计划实战峰会」上,阿里云正式发布《升舱-数据仓库升级交付标准化》白皮书,针对传统数据仓库升级交付的方法、工具、平台等体系化建设提供最佳实践指引。

image.png

长期以来,企业级数据仓库构建主要以Teradata、Oracle、IBM Db2、Vertica、Greenplum等为主,这些系统经过几十年的技术积累,一方面功能完备、稳定可靠;另一方面成本也比较高,且部分有专用硬件限制,在解决业务几何级数据量规模增长时面临挑战。


而以Hadoop生态为代表的的大数据系统主要解决了数据分析的大规模数据量问题,在功能完备性、易用性和维护性上,与这些传统数仓相比,还是有差距。所以大部分金融机构都是在保留已有MPP数仓核心业务的基础上,尝试部署Hadoop系统用于创新业务探索,同时解决数据增长带来的成本问题。


近年来,国外涌现了以Redshift、Snowflake、BigQuery、Synapse等为代表的云原生数仓,对传统数仓和Hadoop系统有替代之势。然而,这些产品均是公共云SaaS形态,且国内并未提供服务,或提供的服务功能受限。与此同时,金融、电信等行业面临数字化转型、数据规模增长和传统数仓升级的需求,需要选型下一代数据管理和分析系统。


另外由于国内外市场和政策的区别,我国金融、运营商、政务等行业的数仓构建,主要以混合云为主。


在此背景下,阿里云发布AnalyticDB数据仓库升舱解决方案,可帮助金融、电信等行业客户实现传统数仓向云原生数据仓库的平滑升级,以应对不断增长的数据规模、业务数字化转型和传统数仓替换升级的需求。

image.png

“升舱,本质上是一场以云原生技术栈的深化应用为核心手段,以‘降本提质增效’为核心目标的传统数据仓库云化升级,需要我们通过标准化交付工具和平台,应用好新一代的云原生技术,为金融、运营商等行业客户的传统数据仓库升级,提供从规划到实施落地的端到端的企业级升舱解决方案。阿里云全球技术服务部数据库交付负责人罗龙九表示,“数据仓库升级交付围绕业务敏捷响应、降本提效、自主开放为核心目标,以统一规划、阶段实施的原则进行建设,同时有严格的质量监督体系。”


罗龙九介绍道,所谓统一规划,就是正式升级建设前,通过轻咨询结合企业自身业务特点规划升级数据仓库顶层设计,并进行严密的技术可行性论证,产出提供数据仓库迁移工作所需的现状调研,以及进行需求分析、方案设计、方案可行性验证、交付实施规划、升级所需软硬件资源规划和容量设计、高可用与容灾设计等。


阶段实施,则是五阶十步方法论实施流程,围绕阿里云AnalyticDB云原生数据仓库替换传统数据仓库,从调研与设计、测试迁移、生产迁移、系统并行直至项目验收五个阶段展开的落地交付工作,每一阶段都有明确的目标和成果预期,采用瀑布式流程迭代,直至成功把原有数据仓库数据、作业调度、数据模型迁移到以AnalyticDB为主构建的新数据仓库平台。

image.png

数据仓库升级实施规划流程图


作为国内领先券商,申万宏源证券一直重视挖掘数据资产的价值,此前采用了十几年的 国外传统数据仓库系统为业务发展带来良好的业务支撑。但随着数字时代的到来,原有的数据仓库无法满足申万宏源日益增长的业务数据需求。


申万宏源决定选择全新的云原生数据仓库进行升级,在综合对比多家厂商性能后,携手阿里云进行数仓升级。升级后,申万宏源的数据仓库系统整体性能提升40%以上,支撑了数万张核心表,为运营及业务快速发展提供了可靠、高效的云上基础设施环境。


《升舱-数据仓库升级交付标准化》白皮书是阿里云结合金融、运营商等关系国计民生重点 行业大量项目实践经验的分析总结,同时也是阿里云深入研究传统数据仓库升级交付流程和价值创造方式的阶段性成果。

image.png

长按识别 二维码 、轻松下载 白皮书

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
9天前
|
存储 分布式计算 数据处理
湖仓实时化升级 :Uniflow 构建流批一体实时湖仓
湖仓实时化升级 :Uniflow 构建流批一体实时湖仓
|
10天前
|
SQL 存储 OLAP
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
|
19天前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
|
2月前
|
存储 人工智能 分布式计算
湖仓实时化升级 :Uniflow 构建流批一体实时湖仓
本文整理自阿里云产品经理李昊哲在Flink Forward Asia 2024流批一体专场的分享,涵盖实时湖仓发展趋势、基于Flink搭建流批一体实时湖仓及Materialized Table优化三方面。首先探讨了实时湖仓的发展趋势和背景,特别是阿里云在该领域的领导地位。接着介绍了Uniflow解决方案,通过Flink CDC、Paimon存储等技术实现低成本、高性能的流批一体处理。最后,重点讲解了Materialized Table如何简化用户操作,提升数据查询和补数体验,助力企业高效应对不同业务需求。
456 18
湖仓实时化升级 :Uniflow 构建流批一体实时湖仓
|
3月前
|
SQL 存储 分布式计算
MaxCompute近实时数仓能力升级
本文介绍了阿里云自研的离线实时一体化数仓,重点涵盖MaxCompute和Hologres两大产品。首先阐述了两者在ETL处理、AP分析及Serverless场景中的核心定位与互补关系。接着详细描述了MaxCompute在近实时能力上的升级,包括Delta Table形态、增量计算与查询支持、MCQ 2.0的优化等关键技术,并展示了其性能提升的效果。最后展望了未来在秒级数据导入、多引擎融合及更高效资源利用方面的改进方向。
|
3月前
|
SQL 存储 缓存
EMR Serverless StarRocks 全面升级:重新定义实时湖仓分析
本文介绍了EMR Serverless StarRocks的发展路径及其架构演进。首先回顾了Serverless Spark在EMR中的发展,并指出2021年9月StarRocks开源后,OLAP引擎迅速向其靠拢。随后,EMR引入StarRocks并推出全托管产品,至2023年8月商业化,已有500家客户使用,覆盖20多个行业。 文章重点阐述了EMR Serverless StarRocks 1.0的存算一体架构,包括健康诊断、SQL调优和物化视图等核心功能。接着分析了存算一体架构的挑战,如湖访问不优雅、资源隔离不足及冷热数据分层困难等。
|
5月前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司( IDC )首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云在首次报告发布即位居领导者类别。
|
5月前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
355 0
|
5月前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
5月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版