《云原生一站式数据库技术与实践》——三、降本增效,阿里云一站式数据库上云最佳实践(1)

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 《云原生一站式数据库技术与实践》——三、降本增效,阿里云一站式数据库上云最佳实践(1)

三、降本增效,阿里云一站式数据库上云最佳实践


作者:王林平,阿里云数据库高级解决方案架构师


随着互联网的持续快速发展,云计算已经成为IT 主流的基础设施提供方式。云计算支撑了城市大脑、冬奥会、天猫、淘宝、优酷等,与每一个人的生活息息相关。



阿里集团的很多企业都已经将IT基础设施搬到云上,云计算在国内得到了蓬勃发展,为企业带来快捷的能力,实现了增效。



1. 上云路径


image.png



DTS 是帮助上云的有力工具。它孵化自阿里巴巴内部,最初被称为DRC,用于做内部数据流转,包括单元化、双活、多活。2015-2016 年,集团业务要上云,面临了一系列的问题,比如数据怎么上云、混合云怎么做灾备和双活等,怎么分析上云。为了解决问题,阿里决定将DRC进行商业化,同时在云上为企业客户提供了丰富的能力。



技术上,DTS 在某些方已经领先于国内外的友商,比如事务冲突、热点模型的合并、网络带宽的优化、数据校验、双向复制等,拥有企业客户10 万+。


image.png



上图左侧是某电商客户搬站上云的路径,右侧是实时分析



该电商客户希望将业务、会员、商城、购物车、计费系统、推荐算法等系统从IDC搬到云上。在IDC 使用的主要为MySQL、MongoDB、Redis,云上提供了RDS、MySQL、MongoDB、PR 持久内存(自研的缓存),也有云Redis,可与Redis 完全兼容。整个上云过程可以通过DTS 实现数据的复制。



上图可见上云过程中存在两条线,绿色线是双向复制。目前从开源的MongoDB、Redis 复制到云上的MongoDB、Redis 依然是单向复制,而MySQL 支持双向复制的,可以基于双向复制构建无缝的切换方案。



比如某客户的核心业务系统在MySQL上,客户不希望MySQL在过程中有过多停机。我们为其构建了平滑的数据库迁移上云方案,通过全量和增量复制,将IDC 机房的数据库连到云上的机房,得益于同城,其延迟较低。同时,在MySQL、MongoDB和Redis 上云的过程中提供了数据一致性的校验。



同时,我们对网络提供了较好的支持。得益于双向同步,可以实现秒级、分钟级的回滚。云上业务打开之后,MySQL 依然可以回流到IDC 继续做复制。云上业务正常后,可将DTS 链路暂停。如果在观察期发现业务出现问题,RDS、MySQL 回流到IDC的MySQL 链路依然存在,同时也可以支持过程中的DML,业务发现问题之后可以切回IDC。



总结来说,我们提供了数据平滑上云的能力,也提供了回滚能力,基于MySQL 的链路可以实现秒级到分钟级的回滚和切换。



实时分析上云方面,我们提供了与MySQL 兼容的实时分析数据库ADB,经由DTS可以将MySQL 数据库的数据通过走专线、公网、VPN 的方式同步到ADB 做实时分析。



比如某客户的业务里有相对敏感的信息,如果全部上云,会面临数据泄露风险与监管压力。经过与客户的沟通,最后我们决定将一部分不涉及敏感信息的报表、数据分析等上云,通过云上的商业化、实时的分析引擎为业务提速。通过专线的方式走DTS,将多个业务库的数据同步到ADB,在ADB 上做数据分析。ADB 也支持通过SQL或定时任务的ETL对数据做处理,处理完后的数据还可通过专线再回流到IDC。


image.png





《云原生一站式数据库技术与实践》——三、降本增效,阿里云一站式数据库上云最佳实践(2) https://developer.aliyun.com/article/1231598?groupCode=aliyundb


相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
13天前
|
运维 Cloud Native 安全
构建未来:云原生技术在企业数字化转型中的关键作用
【4月更文挑战第30天】 随着企业加速数字化步伐,云原生技术已成为推动创新与维持市场竞争力的重要驱动力。本文将深入探讨云原生技术的基本原理、关键组成部分以及如何通过这些技术实现敏捷开发和自动化运维。我们将分析容器化、微服务架构、DevOps实践和持续集成/持续部署(CI/CD)流程等云原生核心概念,并讨论它们如何共同塑造一个灵活、可扩展且高度可用的系统环境。此外,我们还将探索云原生安全策略,确保在追求速度和效率的同时不牺牲安全性。
|
1天前
|
运维 Cloud Native 持续交付
构建未来:云原生技术在企业数字化转型中的关键作用
【5月更文挑战第12天】 随着企业加速其数字化转型的步伐,云原生技术已站在风口浪尖,成为支撑现代应用架构的骨干力量。本文深入探讨了云原生技术的核心概念、发展历程以及如何在不断变化的技术环境中满足企业的动态需求。我们将分析微服务、容器化、持续集成和持续部署(CI/CD)以及DevOps文化如何共同塑造了一个敏捷、可扩展且高效的系统环境。通过实际案例和最新趋势的讨论,文章旨在揭示云原生技术如何使企业能够快速响应市场变化,提高运营效率,并最终实现业务目标。
7 2
|
4天前
|
Cloud Native Devops 持续交付
构建未来:云原生技术在企业数字化转型中的关键作用
【5月更文挑战第9天】 随着企业加速其数字化转型的步伐,云原生技术已经成为推动创新和灵活性的核心力量。本文将探讨云原生架构的基本原理、它如何促进微服务和容器化策略的实施,以及它如何帮助企业实现敏捷性和可扩展性。通过对最新行业趋势的分析与实际案例研究,文章揭示了云原生技术如何助力企业优化资源配置,提高运营效率,并最终在竞争激烈的市场中保持领先地位。
|
4天前
|
Cloud Native 关系型数据库 分布式数据库
数据库性能诊断工具DBdoctor通过阿里云PolarDB产品生态集成认证
DBdoctor(V3.1.0)成功通过阿里云PolarDB分布式版(V2.3)集成认证,展现优秀兼容性和稳定性。此工具是聚好看科技的内核级数据库性能诊断产品,运用eBPF技术诊断SQL执行,提供智能巡检、根因分析和优化建议。最新版V3.1.1增加了对PolarDB-X和OceanBase的支持,以及基于cost的索引诊断功能。PolarDB-X是阿里巴巴的高性能云原生分布式数据库,兼容MySQL生态。用户可通过提供的下载地址、在线试用链接和部署指南体验DBdoctor。
|
7天前
|
边缘计算 运维 Cloud Native
探索云原生技术的未来发展趋势
随着数字化时代的不断深入,云原生技术已成为企业数字化转型的重要支撑。本文将探讨云原生技术的定义、特点以及未来发展趋势,重点关注容器化、微服务、自动化运维等方面,展望云原生技术在未来的发展方向与挑战。
22 1
|
7天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
8天前
|
Cloud Native 安全 Devops
构建未来:云原生技术在企业数字化转型中的关键角色
【5月更文挑战第5天】 随着企业加速其数字化进程,云原生技术已成为推动创新和灵活性的重要力量。本文探讨了云原生技术的核心组件、实施策略以及它们如何帮助企业实现敏捷开发和持续交付。通过深入分析容器化、微服务架构、DevOps实践和自动化工具的融合,揭示了这些技术如何共同作用,支持企业在竞争激烈的市场中快速适应变化。同时,文章还将讨论云原生安全挑战及应对措施,为读者提供一个全面的云原生技术应用视角。
44 14
|
8天前
|
Cloud Native 持续交付 云计算
构建未来:云原生技术在企业数字化转型中的关键作用
【5月更文挑战第5天】 随着企业不断探索在竞争激烈的市场中保持敏捷和创新的方法,云计算已经成为了推动数字化转型的重要动力。特别是云原生技术,作为构建和运行应用程序的一种新范式,正在改变企业开发、部署及管理软件的方式。本文将深入探讨云原生架构的核心组件、它如何促进企业的敏捷性,以及在采用云原生技术时面临的挑战和解决策略。通过分析案例研究和行业趋势,我们将揭示云原生技术在未来企业数字化道路上扮演的角色,并为希望利用这些技术的决策者提供实用的见解。
|
9天前
|
Cloud Native Devops 持续交付
构建未来:云原生技术在企业数字化转型中的关键作用
【5月更文挑战第4天】 随着企业加速其数字化进程,云原生技术已不仅仅是一种趋势,而是成为了推动创新和业务敏捷性的核心力量。本文将探讨云原生架构如何为企业提供弹性、可扩展及自动化的基础设施,以及它如何支持企业在竞争激烈的市场中快速响应变化。通过深入分析云原生技术的组成部分,包括容器化、微服务、持续集成/持续部署(CI/CD)和DevOps文化,我们揭示了这些技术如何共同塑造一个灵活且高效的企业IT环境。
19 0
|
9天前
|
Cloud Native Devops 持续交付
构筑未来:云原生技术在企业数字化转型中的关键作用
【5月更文挑战第4天】 随着企业加速迈向数字化时代,云原生技术已不仅仅是一种趋势,而是转型成功的必要条件。本文将深入探讨云原生架构的核心组件,包括容器化、微服务、持续集成/持续部署(CI/CD)和DevOps实践,并分析它们如何共同促进企业的敏捷性、可扩展性和创新能力。通过具体案例,我们还将揭示这些技术如何帮助企业实现资源优化、风险降低和更快的市场响应时间。
25 7