《云原生一站式数据库技术与实践》——三、降本增效,阿里云一站式数据库上云最佳实践(1)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
简介: 《云原生一站式数据库技术与实践》——三、降本增效,阿里云一站式数据库上云最佳实践(1)

三、降本增效,阿里云一站式数据库上云最佳实践


作者:王林平,阿里云数据库高级解决方案架构师


随着互联网的持续快速发展,云计算已经成为IT 主流的基础设施提供方式。云计算支撑了城市大脑、冬奥会、天猫、淘宝、优酷等,与每一个人的生活息息相关。



阿里集团的很多企业都已经将IT基础设施搬到云上,云计算在国内得到了蓬勃发展,为企业带来快捷的能力,实现了增效。



1. 上云路径


image.png



DTS 是帮助上云的有力工具。它孵化自阿里巴巴内部,最初被称为DRC,用于做内部数据流转,包括单元化、双活、多活。2015-2016 年,集团业务要上云,面临了一系列的问题,比如数据怎么上云、混合云怎么做灾备和双活等,怎么分析上云。为了解决问题,阿里决定将DRC进行商业化,同时在云上为企业客户提供了丰富的能力。



技术上,DTS 在某些方已经领先于国内外的友商,比如事务冲突、热点模型的合并、网络带宽的优化、数据校验、双向复制等,拥有企业客户10 万+。


image.png



上图左侧是某电商客户搬站上云的路径,右侧是实时分析



该电商客户希望将业务、会员、商城、购物车、计费系统、推荐算法等系统从IDC搬到云上。在IDC 使用的主要为MySQL、MongoDB、Redis,云上提供了RDS、MySQL、MongoDB、PR 持久内存(自研的缓存),也有云Redis,可与Redis 完全兼容。整个上云过程可以通过DTS 实现数据的复制。



上图可见上云过程中存在两条线,绿色线是双向复制。目前从开源的MongoDB、Redis 复制到云上的MongoDB、Redis 依然是单向复制,而MySQL 支持双向复制的,可以基于双向复制构建无缝的切换方案。



比如某客户的核心业务系统在MySQL上,客户不希望MySQL在过程中有过多停机。我们为其构建了平滑的数据库迁移上云方案,通过全量和增量复制,将IDC 机房的数据库连到云上的机房,得益于同城,其延迟较低。同时,在MySQL、MongoDB和Redis 上云的过程中提供了数据一致性的校验。



同时,我们对网络提供了较好的支持。得益于双向同步,可以实现秒级、分钟级的回滚。云上业务打开之后,MySQL 依然可以回流到IDC 继续做复制。云上业务正常后,可将DTS 链路暂停。如果在观察期发现业务出现问题,RDS、MySQL 回流到IDC的MySQL 链路依然存在,同时也可以支持过程中的DML,业务发现问题之后可以切回IDC。



总结来说,我们提供了数据平滑上云的能力,也提供了回滚能力,基于MySQL 的链路可以实现秒级到分钟级的回滚和切换。



实时分析上云方面,我们提供了与MySQL 兼容的实时分析数据库ADB,经由DTS可以将MySQL 数据库的数据通过走专线、公网、VPN 的方式同步到ADB 做实时分析。



比如某客户的业务里有相对敏感的信息,如果全部上云,会面临数据泄露风险与监管压力。经过与客户的沟通,最后我们决定将一部分不涉及敏感信息的报表、数据分析等上云,通过云上的商业化、实时的分析引擎为业务提速。通过专线的方式走DTS,将多个业务库的数据同步到ADB,在ADB 上做数据分析。ADB 也支持通过SQL或定时任务的ETL对数据做处理,处理完后的数据还可通过专线再回流到IDC。


image.png





《云原生一站式数据库技术与实践》——三、降本增效,阿里云一站式数据库上云最佳实践(2) https://developer.aliyun.com/article/1231598?groupCode=aliyundb


相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
1月前
|
人工智能 安全 Cloud Native
阿里云云原生安全能力全线升级,护航百万客户云上安全
【重磅发布】9月20日,在杭州云栖大会上,阿里云宣布云原生安全能力全线升级,首次发布云原生网络检测与响应产品NDR(Network Detection Response,简称NDR)。同时,阿里云还宣布将持续增加免费的安全防护能力,帮助中小企业客户以极低投入完成基础的云上安全风险治理。
132 15
|
1月前
|
存储 NoSQL 关系型数据库
非关系型数据库-MongoDB技术(二)
非关系型数据库-MongoDB技术(二)
|
1月前
|
NoSQL 关系型数据库 MongoDB
非关系型数据库-MongoDB技术(一)
非关系型数据库-MongoDB技术(一)
|
2天前
|
存储 缓存 监控
数据库优化技术:提升性能与效率的关键策略
【10月更文挑战第15天】数据库优化技术:提升性能与效率的关键策略
24 8
|
9天前
|
人工智能 Cloud Native 安全
从云原生到 AI 原生,网关的发展趋势和最佳实践
本文整理自阿里云智能集团资深技术专家,云原生产品线中间件负责人谢吉宝(唐三)在云栖大会的精彩分享。讲师深入浅出的分享了软件架构演进过程中,网关所扮演的各类角色,AI 应用的流量新特征对软件架构和网关所提出的新诉求,以及基于阿里自身实践所带来的开源贡献和商业能力。
|
6天前
|
运维 Cloud Native 数据可视化
阿里云云原生应用组装平台BizWorks满分通过最新评估
阿里云BizWorks满分通过《基于云计算的业务组装平台能力成熟度模型》评测,获得优秀级(最高等级),广东移动联合阿里云BizWorks团队开展的组装式应用实践获得第三届“鼎新杯”数字化转型应用优秀案例一等奖。
|
6天前
|
存储 运维 监控
云原生应用的可观察性:理解、实现与最佳实践
【10月更文挑战第10天】随着云原生技术的发展,可观察性成为确保应用性能和稳定性的重要因素。本文探讨了云原生应用可观察性的概念、实现方法及最佳实践,包括监控、日志记录和分布式追踪的核心组件,以及如何通过选择合适的工具和策略来提升应用的可观察性。
|
10天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 09 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
16天前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
14天前
|
关系型数据库 分布式数据库 数据库
PolarDB 开源:推动数据库技术新变革
在数字化时代,数据成为核心资产,数据库的性能和可靠性至关重要。阿里云的PolarDB作为新一代云原生数据库,凭借卓越性能和创新技术脱颖而出。其开源不仅让开发者深入了解内部架构,还促进了数据库生态共建,提升了稳定性与可靠性。PolarDB采用云原生架构,支持快速弹性扩展和高并发访问,具备强大的事务处理能力及数据一致性保证,并且与多种应用无缝兼容。开源PolarDB为国内数据库产业注入新活力,打破国外垄断,推动国产数据库崛起,降低企业成本与风险。未来,PolarDB将在生态建设中持续壮大,助力企业数字化转型。
56 2