MySQL数据库上云迁移

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 本文介绍了将数据库迁移到RDS for Mysql的两种主要方法:停服迁移和不停服迁移。停服迁移适合可短暂中断服务的场景,通过mysqldump或DTS完成;不停服迁移适用于需保持业务连续性的场景,推荐使用DTS实现结构、全量及增量数据迁移。文中详细列出了每种方法的具体操作步骤,帮助企业根据需求选择合适的迁移方案。

概览

随着云计算的兴起,考虑到数据库的稳定性和运维成本,越来越多的企业,会将运行在本地服务器或是其他虚拟服务器上的数据库迁移到云上。当前将数据库迁移到RDS for Mysql的方法包括停服迁移、不停服迁移,下面将详细介绍这两种上云迁移方法的不同方案,我们推荐您使用DTS来进行迁移。

需求场景

需求场景1:可停服迁移

用户迁移过程中,旧实例可以暂时停止服务或者暂停写入,待数据全部迁移到新实例后,再将业务切换到新实例进行读写。可停服迁移可以通过mysqldump或百度智能云传输服务DTS完成数据迁移。

需求场景2:不可停服迁移

用户迁移过程中,旧实例不能停止写入,业务不能停服,此时进行在线数据迁移,需要保证新旧实例的数据一致性。该场景下推荐使用百度智能云数据传输服务DTS完成数据迁移。

方案概述

迁移方式一:停服迁移

如果应用程序可以接受一定时间的停服,那么停服迁移是最简单的方案。目前有2种方案可以选择:

使用mysqldump工具

具体步骤如下:

  1. 停止应用程序的写入,或关闭应用程序服务器;
  2. 使用mysqldump工具,备份出所有的库表:
    mysqldump –u dbuser –p dbpass -h dbhost -Pdbport -A > data.sql
  3. 通过RDS域名来连接,使用mysql客户端工具将备份出来的数据库导入到RDS上:
    mysql -u dbuser -p dbpass -h rdsdns -Pdbport < data.sql
  4. 修改应用程序中数据库的连接地址,重新启动应用程序服务器或开启写入。

使用DTS服务(推荐方式)

具体步骤如下:

  1. 停止应用程序的写入,或关闭应用程序服务器;
  2. 在DTS上配置源端和目标端的数据库连接方式,选择结构+全量迁移,并启动任务。DTS数据迁移的操作步骤详见数据迁移
  3. 等DTS迁移任务运行结束后,修改应用程序中数据库的连接地址,重新启动应用程序服务器或开启写入;
  4. 结束DTS迁移任务。

迁移方式二:不停服迁移

一般情况下,应用程序希望在不停服的情况下,将数据库迁移到云上,而且如果迁移数据库的数据量很大的时候,停服时间将很长,这也是不可接受的。目前,不停服迁移有3种方案可以选择:

使用mysqldump工具

此方法只适用于开启GTID的Mysql,具体步骤如下:

  1. 使用与Mysql Server同版本的mysqldump工具,导出所有的库表数据:
    mysqldump –u dbuser –p dbpass -h dbhost -Pdbport -A > data.sql
  2. 在RDS上申请Super权限,通过RDS域名连接,并使用Mysql客户端工具将备份出来的数据导入进去:
    mysql -u dbuser -p dbpass -h rdsdns -Pdbport < data.sql
  3. 提供changemaster的点,发工单给百度云DBA,非标建立同步,追增量,此过程中,RDS 可用性无保障。
    客户保证网络连接畅通,即 RDS 数据库可以直接访问客户数据库
    change master to master_host=xxx, master_port=xxx, master_user=xxx, master_password=xxx, master_auto_position=1;
  4. 开始停止应用程序写入,等到追上老主库的数据后,修改应用程序的数据库访问地址,并开始写入,这样就能达到短暂停写来实现上云迁移。
  5. 联系百度云DBA停止非标建立的同步关系,此时开始,RDS开始保障可用性。

使用xtrabackup工具

此方法需要发工单联系RDS值班人员来恢复数据,具体步骤如下:

  1. 使用xtrabackup工具进行数据库热备,然后将备份出来的数据上传到百度智能云BOS上:
    innobackupex --user=dbuser --password=dbpass --host=dbhost --port=dbport /path/to/BACKUP-DIR/
  2. 通过工单方式,将备份数据的BOS地址提供给RDS值班人员,进行数据的恢复;
  3. 等数据恢复完成后,提供changemaster的点,发工单给百度云DBA,非标建立同步,追增量,此过程中,RDS 可用性无保障。
    客户保证网络连接畅通,即rds数据库可以直接访问客户数据库
    change master to master_host=xxx, master_port=xxx, master_user=xxx, master_password=xxx, master_auto_position=1;
  4. 开始停止应用程序写入,等到追上老主库的数据后,修改应用程序的数据库访问地址,并开始写入,这样就能达到短暂停写来实现上云迁移。
  5. 联系百度云DBA停止非标建立的同步关系,此时开始,RDS开始保障可用性。

使用DTS服务(推荐方式)

具体步骤如下:

  1. 使用DTS来进行结构+全量+增量数据的迁移,具体操作步骤详见数据迁移
  2. 开始停止应用程序写入,等到追上老主库的数据后,修改应用程序的数据库访问地址,并开始写入。
  3. 结束DTS迁移任务,从而完成上云迁移。


转载来源:https://juejin.cn/post/7161998157893599268

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
28天前
|
人工智能 运维 关系型数据库
数据库运维:mysql 数据库迁移方法-mysqldump
本文介绍了MySQL数据库迁移的方法与技巧,重点探讨了数据量大小对迁移方式的影响。对于10GB以下的小型数据库,推荐使用mysqldump进行逻辑导出和source导入;10GB以上可考虑mydumper与myloader工具;100GB以上则建议物理迁移。文中还提供了统计数据库及表空间大小的SQL语句,并讲解了如何使用mysqldump导出存储过程、函数和数据结构。通过结合实际应用场景选择合适的工具与方法,可实现高效的数据迁移。
225 1
|
2月前
|
关系型数据库 数据库 RDS
【瑶池数据库训练营及解决方案本周精选(探索PolarDB,参与RDS迁移、连接训练营)】(5.30-6.8)
本周精选聚焦数据库迁移训练营、快速连接云数据库RDS训练营及智能多模态搜索解决方案。为用户提供模拟教程与实战演练,学习RDS MySQL实例连接与数据管理技能,助力企业智能化发展。每周解锁数据库实战新场景,抓紧时间,精彩不容错过!
|
3月前
|
存储 关系型数据库 数据挖掘
【瑶池数据库动手活动及话题本周精选(体验ADB、 SelectDB,参与 RDS 迁移训练营)】(4.21-4.27)
本文为 “瑶池数据库动手活动及话题精选” 系列第一期,聚焦 SelectDB 日志分析、AnalyticDB Zero-ETL 集成、RDS 迁移训练营三大实战,设积分、实物等多重奖励,同步开启话题互动。点击链接参与,每周解锁数据库实战新场景。
|
3月前
|
SQL Oracle 关系型数据库
用 YashanDB Migration Platform,数据库迁移不再是“高风险动作”
数据库迁移一直是企业信息化中的难题,耗时长、风险高。YashanDB Migration Platform(YMP)提供一站式解决方案,涵盖评估、改写、迁移与校验全流程。其核心能力包括SQL自动适配、智能对象迁移、高性能数据通道及数据对比校验,显著降低人力成本与业务风险。适合从Oracle、MySQL等迁移到YashanDB的企业,以及需异构整合或国产化替代的集团、政府和国企项目。YMP不仅是工具,更是推动数据库国产化的关键平台。
|
3月前
|
存储 关系型数据库 OLAP
【瑶池数据库动手活动及话题本周精选(体验ADB、 SelectDB,参与 RDS 迁移训练营)】(4.28-5.4)
本文为“瑶池数据库动手活动及话题精选”系列第二期,聚焦SelectDB日志分析、AnalyticDB Zero - ETL集成、RDS迁移训练营三大实战,设积分、实物等多重奖励,同步开启话题互动。上一期活动反响热烈,错过的朋友别再犹豫!点击链接参与,每周解锁数据库实战新场景,抓紧时间,精彩不容错过!
|
4月前
|
关系型数据库 MySQL Java
【YashanDB知识库】Kettle迁移MySQL到YashanDB
本文介绍了使用Kettle将MySQL数据库中的中文数据迁移到YashanDB的方法,解决因YMP不支持Latin1字符集导致的乱码问题。提供了Windows和Linux两种环境下的操作步骤,包括配置JAVA环境、解压作业包、设置数据库连接(MySQLInput与YashanOutput)、修改表列表配置文件及运行迁移任务。Windows环境支持图形界面便于调试,Linux环境网络性能更优。通过详细的操作指南,确保数据迁移成功并可重试无冲突。
|
2月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
3天前
|
SQL 存储 关系型数据库
MySQL功能模块探秘:数据库世界的奇妙之旅
]带你轻松愉快地探索MySQL 8.4.5的核心功能模块,从SQL引擎到存储引擎,从复制机制到插件系统,让你在欢声笑语中掌握数据库的精髓!
48 26
|
23天前
|
SQL 关系型数据库 MySQL
Go语言数据库编程:使用 `database/sql` 与 MySQL/PostgreSQL
Go语言通过`database/sql`标准库提供统一数据库操作接口,支持MySQL、PostgreSQL等多种数据库。本文介绍了驱动安装、连接数据库、基本增删改查操作、预处理语句、事务处理及错误管理等内容,涵盖实际开发中常用的技巧与注意事项,适合快速掌握Go语言数据库编程基础。
110 62
|
4月前
|
关系型数据库 MySQL Java
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库

推荐镜像

更多