《云原生一站式数据库技术与实践》——三、降本增效,阿里云一站式数据库上云最佳实践(1)

简介: 《云原生一站式数据库技术与实践》——三、降本增效,阿里云一站式数据库上云最佳实践(1)

三、降本增效,阿里云一站式数据库上云最佳实践


作者:王林平,阿里云数据库高级解决方案架构师


随着互联网的持续快速发展,云计算已经成为IT 主流的基础设施提供方式。云计算支撑了城市大脑、冬奥会、天猫、淘宝、优酷等,与每一个人的生活息息相关。



阿里集团的很多企业都已经将IT基础设施搬到云上,云计算在国内得到了蓬勃发展,为企业带来快捷的能力,实现了增效。



1. 上云路径


image.png



DTS 是帮助上云的有力工具。它孵化自阿里巴巴内部,最初被称为DRC,用于做内部数据流转,包括单元化、双活、多活。2015-2016 年,集团业务要上云,面临了一系列的问题,比如数据怎么上云、混合云怎么做灾备和双活等,怎么分析上云。为了解决问题,阿里决定将DRC进行商业化,同时在云上为企业客户提供了丰富的能力。



技术上,DTS 在某些方已经领先于国内外的友商,比如事务冲突、热点模型的合并、网络带宽的优化、数据校验、双向复制等,拥有企业客户10 万+。


image.png



上图左侧是某电商客户搬站上云的路径,右侧是实时分析



该电商客户希望将业务、会员、商城、购物车、计费系统、推荐算法等系统从IDC搬到云上。在IDC 使用的主要为MySQL、MongoDB、Redis,云上提供了RDS、MySQL、MongoDB、PR 持久内存(自研的缓存),也有云Redis,可与Redis 完全兼容。整个上云过程可以通过DTS 实现数据的复制。



上图可见上云过程中存在两条线,绿色线是双向复制。目前从开源的MongoDB、Redis 复制到云上的MongoDB、Redis 依然是单向复制,而MySQL 支持双向复制的,可以基于双向复制构建无缝的切换方案。



比如某客户的核心业务系统在MySQL上,客户不希望MySQL在过程中有过多停机。我们为其构建了平滑的数据库迁移上云方案,通过全量和增量复制,将IDC 机房的数据库连到云上的机房,得益于同城,其延迟较低。同时,在MySQL、MongoDB和Redis 上云的过程中提供了数据一致性的校验。



同时,我们对网络提供了较好的支持。得益于双向同步,可以实现秒级、分钟级的回滚。云上业务打开之后,MySQL 依然可以回流到IDC 继续做复制。云上业务正常后,可将DTS 链路暂停。如果在观察期发现业务出现问题,RDS、MySQL 回流到IDC的MySQL 链路依然存在,同时也可以支持过程中的DML,业务发现问题之后可以切回IDC。



总结来说,我们提供了数据平滑上云的能力,也提供了回滚能力,基于MySQL 的链路可以实现秒级到分钟级的回滚和切换。



实时分析上云方面,我们提供了与MySQL 兼容的实时分析数据库ADB,经由DTS可以将MySQL 数据库的数据通过走专线、公网、VPN 的方式同步到ADB 做实时分析。



比如某客户的业务里有相对敏感的信息,如果全部上云,会面临数据泄露风险与监管压力。经过与客户的沟通,最后我们决定将一部分不涉及敏感信息的报表、数据分析等上云,通过云上的商业化、实时的分析引擎为业务提速。通过专线的方式走DTS,将多个业务库的数据同步到ADB,在ADB 上做数据分析。ADB 也支持通过SQL或定时任务的ETL对数据做处理,处理完后的数据还可通过专线再回流到IDC。


image.png





《云原生一站式数据库技术与实践》——三、降本增效,阿里云一站式数据库上云最佳实践(2) https://developer.aliyun.com/article/1231598?groupCode=aliyundb


相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
12月前
|
监控 Cloud Native Java
Quarkus 云原生Java框架技术详解与实践指南
本文档全面介绍 Quarkus 框架的核心概念、架构特性和实践应用。作为新一代的云原生 Java 框架,Quarkus 旨在为 OpenJDK HotSpot 和 GraalVM 量身定制,显著提升 Java 在容器化环境中的运行效率。本文将深入探讨其响应式编程模型、原生编译能力、扩展机制以及与微服务架构的深度集成,帮助开发者构建高效、轻量的云原生应用。
1099 44
|
存储 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:单机性能优化篇
阿里云PolarDB云原生数据库在TPC-C基准测试中,以20.55亿tpmC的成绩打破性能与性价比世界纪录。此外,国产轻量版PolarDB已上线,提供更具性价比的选择。
|
人工智能 Cloud Native 安全
云原生+AI 为企业出海提供全新技术引擎!明天见
5月22日 14:00「飞天发布时刻」,阿里云云原生应用平台产品负责人李国强将重磅揭晓面向 AI 场景的云原生产品体系升级,通过弹性智能的全球一体化架构、开箱即用的云原生 AI 工程化能力,为中国企业出海提供全新技术引擎。
|
Cloud Native 关系型数据库 分布式数据库
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
存储 缓存 数据库
数据库数据删除策略:硬删除vs软删除的最佳实践指南
在项目开发中,“删除”操作常见但方式多样,主要分为硬删除与软删除。硬删除直接从数据库移除数据,操作简单、高效,但不可恢复;适用于临时或敏感数据。软删除通过标记字段保留数据,支持恢复和审计,但增加查询复杂度与数据量;适合需追踪历史或可恢复的场景。两者各有优劣,实际开发中常结合使用以满足不同需求。
1536 4
|
存储 关系型数据库 分布式数据库
|
11月前
|
Kubernetes Cloud Native 云计算
云计算与云原生技术探索
🌟蒋星熠Jaxonic,云原生探索者!以代码为舟,遨游技术星河。专注容器化、微服务、K8s与DevOps,践行GitOps理念,拥抱多云未来。用架构编织星辰,让创新照亮极客征途!
云计算与云原生技术探索
|
存储 关系型数据库 分布式数据库
|
11月前
|
Java Linux 虚拟化
【Docker】(1)Docker的概述与架构,手把手带你安装Docker,云原生路上不可缺少的一门技术!
1. Docker简介 1.1 Docker是什么 为什么docker会出现? 假定您在开发一款平台项目,您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。 您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。 您的企业还拥有标准化的测试和生产环境,且具有自身的配置和一系列支持文件。 **要求:**希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销 问题: 要如何确保应用能够在这些环境中运行和通过质量检测? 在部署过程中不出现令人头疼的版本、配置问题 无需重新编写代码和进行故障修复
800 2