阿里云发布《升舱-数仓升级交付标准化》白皮书,为申万宏源等客户提供“一步升舱”服务

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 阿里云正式发布《升舱-数据仓库升级交付标准化》白皮书,针对传统数据库仓库升级交付的方法、工具、平台等体系化建设提供最佳实践指引。

在「数据库升舱计划实战峰会」上,阿里云正式发布《升舱-数据仓库升级交付标准化》白皮书,针对传统数据仓库升级交付的方法、工具、平台等体系化建设提供最佳实践指引。

image.png

长期以来,企业级数据仓库构建主要以Teradata、Oracle、IBM Db2、Vertica、Greenplum等为主,这些系统经过几十年的技术积累,一方面功能完备、稳定可靠;另一方面成本也比较高,且部分有专用硬件限制,在解决业务几何级数据量规模增长时面临挑战。


而以Hadoop生态为代表的的大数据系统主要解决了数据分析的大规模数据量问题,在功能完备性、易用性和维护性上,与这些传统数仓相比,还是有差距。所以大部分金融机构都是在保留已有MPP数仓核心业务的基础上,尝试部署Hadoop系统用于创新业务探索,同时解决数据增长带来的成本问题。


近年来,国外涌现了以Redshift、Snowflake、BigQuery、Synapse等为代表的云原生数仓,对传统数仓和Hadoop系统有替代之势。然而,这些产品均是公共云SaaS形态,且国内并未提供服务,或提供的服务功能受限。与此同时,金融、电信等行业面临数字化转型、数据规模增长和传统数仓升级的需求,需要选型下一代数据管理和分析系统。


另外由于国内外市场和政策的区别,我国金融、运营商、政务等行业的数仓构建,主要以混合云为主。


在此背景下,阿里云发布AnalyticDB数据仓库升舱解决方案,可帮助金融、电信等行业客户实现传统数仓向云原生数据仓库的平滑升级,以应对不断增长的数据规模、业务数字化转型和传统数仓替换升级的需求。

image.png

“升舱,本质上是一场以云原生技术栈的深化应用为核心手段,以‘降本提质增效’为核心目标的传统数据仓库云化升级,需要我们通过标准化交付工具和平台,应用好新一代的云原生技术,为金融、运营商等行业客户的传统数据仓库升级,提供从规划到实施落地的端到端的企业级升舱解决方案。阿里云全球技术服务部数据库交付负责人罗龙九表示,“数据仓库升级交付围绕业务敏捷响应、降本提效、自主开放为核心目标,以统一规划、阶段实施的原则进行建设,同时有严格的质量监督体系。”


罗龙九介绍道,所谓统一规划,就是正式升级建设前,通过轻咨询结合企业自身业务特点规划升级数据仓库顶层设计,并进行严密的技术可行性论证,产出提供数据仓库迁移工作所需的现状调研,以及进行需求分析、方案设计、方案可行性验证、交付实施规划、升级所需软硬件资源规划和容量设计、高可用与容灾设计等。


阶段实施,则是五阶十步方法论实施流程,围绕阿里云AnalyticDB云原生数据仓库替换传统数据仓库,从调研与设计、测试迁移、生产迁移、系统并行直至项目验收五个阶段展开的落地交付工作,每一阶段都有明确的目标和成果预期,采用瀑布式流程迭代,直至成功把原有数据仓库数据、作业调度、数据模型迁移到以AnalyticDB为主构建的新数据仓库平台。

image.png

数据仓库升级实施规划流程图


作为国内领先券商,申万宏源证券一直重视挖掘数据资产的价值,此前采用了十几年的 国外传统数据仓库系统为业务发展带来良好的业务支撑。但随着数字时代的到来,原有的数据仓库无法满足申万宏源日益增长的业务数据需求。


申万宏源决定选择全新的云原生数据仓库进行升级,在综合对比多家厂商性能后,携手阿里云进行数仓升级。升级后,申万宏源的数据仓库系统整体性能提升40%以上,支撑了数万张核心表,为运营及业务快速发展提供了可靠、高效的云上基础设施环境。


《升舱-数据仓库升级交付标准化》白皮书是阿里云结合金融、运营商等关系国计民生重点 行业大量项目实践经验的分析总结,同时也是阿里云深入研究传统数据仓库升级交付流程和价值创造方式的阶段性成果。

image.png

长按识别 二维码 、轻松下载 白皮书

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
3月前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
2月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
225 6
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
2月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
2月前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
2月前
|
存储 SQL 人工智能
【云栖实录】Hologres3.0全新升级:一体化实时湖仓平台
2024年云栖大会,Hologres 3.0全新升级为一体化实时湖仓平台,通过统一数据平台实现湖仓存储一体、多模式计算一体、分析服务一体、Data+AI 一体,发布 Dynamic Table、External Database、分时弹性、Query Queue、NL2SQL 等众多新的产品能力,实现一份数据、一份计算、一份服务,极大提高数据开发及应用效率。同时,Hologres 的预付费实例年付折扣再降15%,仅需7折,不断帮助企业降低数据管理成本,赋能业务增长。
|
4月前
|
存储 消息中间件 运维
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
招联内部已有 40+ 个项目使用 Apache Doris ,拥有超百台集群节点,个别集群峰值 QPS 可达 10w+ 。通过应用 Doris ,招联金融在多场景中均有显著的收益,比如标签关联计算效率相较之前有 6 倍的提升,同等规模数据存储成本节省超 2/3,真正实现了降本提效。
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
|
2月前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司( IDC )首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云在首次报告发布即位居领导者类别。
|
2月前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
228 0
|
3月前
|
存储 机器学习/深度学习 监控
阿里云 Hologres OLAP 解决方案评测
随着大数据时代的到来,企业面临着海量数据的挑战,如何高效地进行数据分析和决策变得尤为重要。阿里云推出的 Hologres OLAP(在线分析处理)解决方案,旨在为用户提供快速、高效的数据分析能力。本文将深入探讨 Hologres OLAP 的特点、优势以及应用场景,并针对方案的技术细节、部署指导、代码示例和数据分析需求进行评测。
136 7
|
3月前
|
运维 数据挖掘 OLAP
阿里云Hologres:一站式轻量级OLAP分析平台的全面评测
在数据驱动决策的今天,企业对高效、灵活的数据分析平台的需求日益增长。阿里云的Hologres,作为一站式实时数仓引擎,提供了强大的OLAP(在线分析处理)分析能力。本文将对Hologres进行深入评测,探讨其在多源集成、性能、易用性以及成本效益方面的表现。
157 7

相关产品

  • 云原生数据仓库AnalyticDB MySQL版