大规模数据库迁云解决方案

简介: 很多的大型业务,有着非常繁杂的业务逻辑,随着上云迁云的趋势,越来越多的数据库需要在迁移和搬迁的路上。那么大型系统的数据库,如何高效稳定的搬迁,就需要研究下细节了。

很多的大型业务,有着非常繁杂的业务逻辑,随着上云迁云的趋势,越来越多的数据库需要在迁移和搬迁的路上。那么大型系统的数据库,如何高效稳定的搬迁,就需要研究下细节了。

1、业务评估和技术选型
首先要确定自己的业务有用到多少种产品,以数据库来说,需要知道自己使用了哪些数据库,比如MySQL,Redis等多种不同的数据库。

值得注意的是:
1)不同的云厂商,同一类别的产品,名字可能不同。
比如mongodb,在AWS叫做documentDB,在Azure叫做cosmosDB。 这当中的技术实现也会有些许差别,但总归可以看做一类。

2)相同的类别,但是可能特性和社区版有差异。
比如MySQL的开源分支有Oracle版,percona版,mariadb版本。
Redis也有社区集群和codis集群这种区别。

3) 阿里云企业版的特性
MySQL为例,我们有高度兼容的社区优化版 AliSQL,也有企业版XDB 三节点
Redis 我们也有社区版,和企业版TairDB
这些企业版特性,都是针对社区版功能,做了特性深度改造,同时一般都是由阿里内部长期使用,除了特性上优化,稳定性也是经得起考验。

2、实施过程
在搞清楚对标的产品后,下一步就是要做具体的迁云实施

大规模的搬站,往往不仅仅是数据库的搬站,还包括应用的搬迁。 所以一般都会有一个切换时间,在运维窗口期,统一的把应用和数据库同步切换到云平台。
有些场景特别的复杂,比如多套应用相互有依赖,无法单独剥离,如果无法一起搬迁。 则要考虑分批搬迁,这样就会有一个新的要求。

即: 已经切换的应用,需要走阿里云的数据库链路,同时还要考虑保留一条反向链路,作为兜底回滚。 没有切换的关联应用数据库,则需要走本地只读,或者远程读写访问。

这样的双活场景,能够有效保障切换和没切换的应用,都能正常工作。同时提供兜底回滚方案,避免中间过程的问题。 我们的DTS 双向同步,则能很好的实现这样的逻辑。

3、 实施细节
数据库的搬迁,还存在一些细节,需要大家注意。
首先,不能在迁移的过程中,大规模使用大事务、DDL、热点写等情况。 这些都会带来同步链路的延迟,如果有双活业务,那么需要非常重视,可能导致不一致读,引发业务问题。

其次,我们的双向同步中,只有正向链路具备同步DDL的能力,反向链路只能同步DML。 如果反向链路的源,需要做DDL,则会被忽略。 另外,如果使用了ghostptosc等开源无锁表结构变更的情况,这些工具生产的影子表,因为不会被同步,所以影子表的增量,会导致DTS链路报错。

相关文章
|
关系型数据库 MySQL Java
【IDEA】java后台操作mysql数据库驱动常见错误解决方案
【IDEA】java后台操作mysql数据库驱动常见错误解决方案
564 0
|
运维 监控 关系型数据库
AI 时代的 MySQL 数据库运维解决方案
本文探讨了大模型与MySQL数据库运维结合所带来的变革,介绍了构建结构化运维知识库、选择合适的大模型、设计Prompt调用策略、开发MCP Server以及建立监控优化闭环等关键步骤。通过将自然语言处理能力与数据库运维相结合,实现了故障智能诊断、SQL自动优化等功能,显著提升了MySQL运维效率和准确性。
1176 18
|
Cloud Native 关系型数据库 分布式数据库
阿里云PolarDB与沃趣科技携手打造一体化数据库解决方案,助推国产数据库生态发展
阿里云瑶池数据库与沃趣科技将继续深化合作,共同推动国产数据库技术的持续创新与广泛应用,为行业生态的繁荣注入更强劲的技术动力。
阿里云PolarDB与沃趣科技携手打造一体化数据库解决方案,助推国产数据库生态发展
|
数据库
数据库创建之主文件不能容纳副本的解决方案
数据库创建之主文件不能容纳副本的解决方案
351 1
|
关系型数据库 MySQL 数据库连接
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
3204 82
|
运维 数据库 数据库管理
云数据库问题之阿里云在运营商领域数据库替换的整体解决方案要如何实现
云数据库问题之阿里云在运营商领域数据库替换的整体解决方案要如何实现
326 3
|
运维 监控 关系型数据库
AI 时代的 MySQL 数据库运维解决方案
本方案将大模型与MySQL运维深度融合,构建智能诊断、SQL优化与知识更新的自动化系统。通过知识库建设、大模型调用策略、MCP Server开发及监控闭环设计,全面提升数据库运维效率与准确性,实现从人工经验到智能决策的跃迁。
1390 27
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
|
SQL 安全 关系型数据库
数据库安全管理新范式:DBKEEPER一体化数据库权限管控堡垒机解决方案
在数字化时代,数据库安全至关重要。DBKEEPER提供一站式数据库安全访问与权限管控解决方案,支持多种数据库,具备精细化权限管理、数据脱敏、高危操作拦截、全面审计等功能,助力企业实现智能、安全的数据治理,满足金融、医疗、互联网等行业合规需求。选择DBKEEPER,让数据库安全管理更高效!
数据库安全管理新范式:DBKEEPER一体化数据库权限管控堡垒机解决方案

热门文章

最新文章