使用 DTS 迁移结构化数据|学习笔记

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 快速学习使用 DTS 迁移结构化数据

开发者学堂课程【上云迁移实战使用 DTS 迁移结构化数据】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/514/detail/6856


使用 DTS 迁移结构化数据

 

MySQL 到 RDS MySQL

1、MySQL 到 RDS MySQL:DTS 不停机迁云

前提:完成 RDS 实例的准备,连接模式,数据库和账号等

权限:

迁移类型

结构迁移

全量迁移

增量迁移

本地数据库

select 

select

Select super replication slave

RDS MySQL

读写权限 

读写权限

读写权限

 

2、MySQL DTS 迁云步骤

(1)创建数据库账号

本地数据库创建迁移账号

CREATE USER 'username'@'host’IDENTIFIED BY 'password';

示例: CREATE USER 'dts user @'%’IDENTIFIED BY 'dts1234’;

本地数据库中给迁移账号授权

GRANT privileges ON databasenametablename TO'username @host’wiTH

GRANT OPTION;

示例: GRANT ALL ON *.* TO 'dts user'@'%’;

(2)开启 binlog

查看是否开启 binlog

show global variables like "log_bin“

开启 binlog

log bin=mysql_bin

binlog_format=row

server_id=大于1的整数

Binlog_row_image=full// 当本地 MySQL 版本大于56时,则需设置该项

修改完成后,重启 MySQL 进程

mysql dir bin mysgladmin-u root-p shutdown

mysql dir/bin/safe mysqld &

(3)迁移任务配置

创建迁移任务

配置源和目标数据库

图片1.png

(4)选择迁移类型及预检查

(5)

图片2.png

(6)启动迁移任务并等待迁移任务完成

图片3.png

3、演示

Xshell for Xmanager Enterprise 5(Build 0973)

Copyright (c)2002-2016 NetSarang Computer, Inc. All rights reserved.

Type `help' to learn how to use Xshell prompt.

[d:\~]$

Connecting to 47.94.225.213:22...

Connection established.

To escape to local shell, press 'ctrl+Alt+]’.

WARNING! The remote SSH server rejected X11 forwarding request.

Last login: Mon Nov 6 01:19:24 2017 from 111.162.45.152

Welcome to Alibaba Cloud Elastic Compute Service!

[root@iZsldoo8zx7zc9Z ~]# vi/etc/my.cnf

[client]

port =3306

socket =/tmp/mysql.sock

[mysqld]

port =3306

socket =/tmp/mysgl.sock

skip-external-locking

log-error=/data/mysql/error.log

key buffer size=256M

max allowed packet =1M

table open cache =256 s

ort buffer size=1M

read buffer size =1M

read rnd buffer size=4M

myisam sort buffer size =64M

thread cache size=8

query cache size= 16M

log-bin=mysql-bin

binlog_format=row

server-id =2 

Sgl_mode=NO_ENGINE_SUBSTITUTION, STRICT_TRANS _TABLES

保存退出,重启 mysql

Xshell for Xmanager Enterprise 5(Build 0973)

Copyright (c)2002-2016 NetSarang Computer, Inc. All rights reserved.

Type `help' to learn how to use Xshell prompt.

[d:\~]$

Connecting to 47.94.225.213:22...

Connection established.

To escape to local shell, press 'ctrl+Alt+]’.

WARNING! The remote SSH server rejected X11 forwarding request.

Last login: Mon Nov 6 01:19:24 2017 from 111.162.45.152

Welcome to Alibaba Cloud Elastic Compute Service!

[root@iZsldoo8zx7zc9Z ~]# vi/etc/my.cnf

[root@iZsldoo8zx7zc9Z ~]# service mysqld restart

Shutting down MySQL... [ OK ]

Starting MySQL. [ OK ]

[root@iZsldoo8zx7zc9Z ~]#

本地配置完成,配置 RDS

(1)创建数据库账户:

图片4.png

图片5.png

图片6.png

(2)配置白名单

图片7.png

(3)创建 DTS 迁移任务

图片8.png

选择华北2,将本地自建 IP 地址填好

图片9.png

测试链接,链接通过

图片10.png

测试都通过后点击授权白名单并进入下一步

选择增量迁移和迁移的对象

图片11.png

预检查并启动,需要等待一段时间

图片12.png

检测成功之后开启任务,根据数据量选择规格

图片13.png

启动,DTS 处于迁移中

图片14.png

等待迁移完成即可,增量迁移会一直保持数据同步

图片15.png

 

 

 

 

 

 

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
5月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
5月前
|
SQL 分布式计算 监控
在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
【2月更文挑战第32天】在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
52 6
|
1月前
|
NoSQL 安全 容灾
阿里云DTS踩坑经验分享系列|Redis迁移、同步
阿里云数据传输服务DTS在帮助用户迁移Redis数据、同步数据时,在某些复杂场景下会出现报错,或者源库与目标库数据不一致的问题,给用户带来困扰。本文介绍了DTS Redis到Redis迁移、同步过程中的典型问题,以帮助用户更好地使用DTS。
81 2
|
2月前
|
NoSQL MongoDB 数据库
DTS 的惊天挑战:迁移海量 MongoDB 数据时,捍卫数据准确完整的生死之战!
【8月更文挑战第7天】在数字化时代,大数据量的MongoDB迁移至关重要。DTS(数据传输服务)通过全面的数据评估、可靠的传输机制(如事务保证一致性)、异常处理(如回滚或重试),以及迁移后的数据校验来确保数据准确无损。DTS还处理数据转换与映射,即使面对不同数据库结构也能保持数据完整性,为企业提供可靠的数据迁移解决方案。
41 2
|
4月前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用问题之dts是否支持传输数据到mc主键表2.0
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3月前
|
关系型数据库 数据库 RDS
利用DTS将自建mysql5.7版本数据库迁移至对应rds报错
利用DTS将自建mysql5.7版本数据库迁移至对应rds报错
140 0
|
3月前
|
SQL 负载均衡 安全
阿里云DTS踩坑经验分享系列|全量迁移加速方法指南
阿里云数据传输服务DTS是一个便捷、高效的数据迁移和数据同步服务。一般而言,一个完整的DTS数据迁移任务主要包括预检查、结构迁移,全量迁移,增量迁移等阶段,其中全量迁移会将源数据库的存量数据全部迁移到目标数据库。面对各种各样的用户场景, 本文将重点介绍如何使用阿里云DTS实现全量数据迁移加速,以缩短迁移时间,确保数据迁移的效率和稳定性。
385 0
|
4月前
|
存储 数据采集 NoSQL
DTS在迁移大数据量的MongoDB数据库时如何保证数据的准确性和完整性?
【6月更文挑战第4天】DTS在迁移大数据量的MongoDB数据库时如何保证数据的准确性和完整性?
127 1
|
4月前
|
NoSQL 关系型数据库 MongoDB
DTS支持哪些非关系型数据库的数据交互?
【6月更文挑战第4天】DTS支持哪些非关系型数据库的数据交互?
47 1
|
5月前
|
SQL 运维 关系型数据库
阿里云DTS踩坑经验分享系列|数据不一致修复大法
阿里云数据传输服务DTS在帮助用户迁移数据、同步数据时,在某些复杂场景下会出现源库与目标库数据不一致的问题,造成数据错误,给用户带来困扰。由于数据不一致的问题很难完全避免,为了及时修复不一致的数据,DTS产品推出数据订正功能,保障用户在同步\迁移数据时的数据一致性。本文介绍了产生数据不一致的一些典型场景,并重点阐述了如何使用DTS数据订正功能来修复不一致的数据。
495 4
下一篇
无影云桌面