三、降本增效,阿里云一站式数据库上云最佳实践
作者:王林平,阿里云数据库高级解决方案架构师
随着互联网的持续快速发展,云计算已经成为IT 主流的基础设施提供方式。云计算支撑了城市大脑、冬奥会、天猫、淘宝、优酷等,与每一个人的生活息息相关。
阿里集团的很多企业都已经将IT基础设施搬到云上,云计算在国内得到了蓬勃发展,为企业带来快捷的能力,实现了增效。
1. 上云路径
DTS 是帮助上云的有力工具。它孵化自阿里巴巴内部,最初被称为DRC,用于做内部数据流转,包括单元化、双活、多活。2015-2016 年,集团业务要上云,面临了一系列的问题,比如数据怎么上云、混合云怎么做灾备和双活等,怎么分析上云。为了解决问题,阿里决定将DRC进行商业化,同时在云上为企业客户提供了丰富的能力。
技术上,DTS 在某些方已经领先于国内外的友商,比如事务冲突、热点模型的合并、网络带宽的优化、数据校验、双向复制等,拥有企业客户10 万+。
上图左侧是某电商客户搬站上云的路径,右侧是实时分析
该电商客户希望将业务、会员、商城、购物车、计费系统、推荐算法等系统从IDC搬到云上。在IDC 使用的主要为MySQL、MongoDB、Redis,云上提供了RDS、MySQL、MongoDB、PR 持久内存(自研的缓存),也有云Redis,可与Redis 完全兼容。整个上云过程可以通过DTS 实现数据的复制。
上图可见上云过程中存在两条线,绿色线是双向复制。目前从开源的MongoDB、Redis 复制到云上的MongoDB、Redis 依然是单向复制,而MySQL 支持双向复制的,可以基于双向复制构建无缝的切换方案。
比如某客户的核心业务系统在MySQL上,客户不希望MySQL在过程中有过多停机。我们为其构建了平滑的数据库迁移上云方案,通过全量和增量复制,将IDC 机房的数据库连到云上的机房,得益于同城,其延迟较低。同时,在MySQL、MongoDB和Redis 上云的过程中提供了数据一致性的校验。
同时,我们对网络提供了较好的支持。得益于双向同步,可以实现秒级、分钟级的回滚。云上业务打开之后,MySQL 依然可以回流到IDC 继续做复制。云上业务正常后,可将DTS 链路暂停。如果在观察期发现业务出现问题,RDS、MySQL 回流到IDC的MySQL 链路依然存在,同时也可以支持过程中的DML,业务发现问题之后可以切回IDC。
总结来说,我们提供了数据平滑上云的能力,也提供了回滚能力,基于MySQL 的链路可以实现秒级到分钟级的回滚和切换。
实时分析上云方面,我们提供了与MySQL 兼容的实时分析数据库ADB,经由DTS可以将MySQL 数据库的数据通过走专线、公网、VPN 的方式同步到ADB 做实时分析。
比如某客户的业务里有相对敏感的信息,如果全部上云,会面临数据泄露风险与监管压力。经过与客户的沟通,最后我们决定将一部分不涉及敏感信息的报表、数据分析等上云,通过云上的商业化、实时的分析引擎为业务提速。通过专线的方式走DTS,将多个业务库的数据同步到ADB,在ADB 上做数据分析。ADB 也支持通过SQL或定时任务的ETL对数据做处理,处理完后的数据还可通过专线再回流到IDC。
《云原生一站式数据库技术与实践》——三、降本增效,阿里云一站式数据库上云最佳实践(2) https://developer.aliyun.com/article/1231598?groupCode=aliyundb