使用 DTS 迁移结构化数据|学习笔记

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 快速学习使用 DTS 迁移结构化数据

开发者学堂课程【上云迁移实战使用 DTS 迁移结构化数据】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/514/detail/6856


使用 DTS 迁移结构化数据

 

MySQL 到 RDS MySQL

1、MySQL 到 RDS MySQL:DTS 不停机迁云

前提:完成 RDS 实例的准备,连接模式,数据库和账号等

权限:

迁移类型

结构迁移

全量迁移

增量迁移

本地数据库

select 

select

Select super replication slave

RDS MySQL

读写权限 

读写权限

读写权限

 

2、MySQL DTS 迁云步骤

(1)创建数据库账号

本地数据库创建迁移账号

CREATE USER 'username'@'host’IDENTIFIED BY 'password';

示例: CREATE USER 'dts user @'%’IDENTIFIED BY 'dts1234’;

本地数据库中给迁移账号授权

GRANT privileges ON databasenametablename TO'username @host’wiTH

GRANT OPTION;

示例: GRANT ALL ON *.* TO 'dts user'@'%’;

(2)开启 binlog

查看是否开启 binlog

show global variables like "log_bin“

开启 binlog

log bin=mysql_bin

binlog_format=row

server_id=大于1的整数

Binlog_row_image=full// 当本地 MySQL 版本大于56时,则需设置该项

修改完成后,重启 MySQL 进程

mysql dir bin mysgladmin-u root-p shutdown

mysql dir/bin/safe mysqld &

(3)迁移任务配置

创建迁移任务

配置源和目标数据库

图片1.png

(4)选择迁移类型及预检查

(5)

图片2.png

(6)启动迁移任务并等待迁移任务完成

图片3.png

3、演示

Xshell for Xmanager Enterprise 5(Build 0973)

Copyright (c)2002-2016 NetSarang Computer, Inc. All rights reserved.

Type `help' to learn how to use Xshell prompt.

[d:\~]$

Connecting to 47.94.225.213:22...

Connection established.

To escape to local shell, press 'ctrl+Alt+]’.

WARNING! The remote SSH server rejected X11 forwarding request.

Last login: Mon Nov 6 01:19:24 2017 from 111.162.45.152

Welcome to Alibaba Cloud Elastic Compute Service!

[root@iZsldoo8zx7zc9Z ~]# vi/etc/my.cnf

[client]

port =3306

socket =/tmp/mysql.sock

[mysqld]

port =3306

socket =/tmp/mysgl.sock

skip-external-locking

log-error=/data/mysql/error.log

key buffer size=256M

max allowed packet =1M

table open cache =256 s

ort buffer size=1M

read buffer size =1M

read rnd buffer size=4M

myisam sort buffer size =64M

thread cache size=8

query cache size= 16M

log-bin=mysql-bin

binlog_format=row

server-id =2 

Sgl_mode=NO_ENGINE_SUBSTITUTION, STRICT_TRANS _TABLES

保存退出,重启 mysql

Xshell for Xmanager Enterprise 5(Build 0973)

Copyright (c)2002-2016 NetSarang Computer, Inc. All rights reserved.

Type `help' to learn how to use Xshell prompt.

[d:\~]$

Connecting to 47.94.225.213:22...

Connection established.

To escape to local shell, press 'ctrl+Alt+]’.

WARNING! The remote SSH server rejected X11 forwarding request.

Last login: Mon Nov 6 01:19:24 2017 from 111.162.45.152

Welcome to Alibaba Cloud Elastic Compute Service!

[root@iZsldoo8zx7zc9Z ~]# vi/etc/my.cnf

[root@iZsldoo8zx7zc9Z ~]# service mysqld restart

Shutting down MySQL... [ OK ]

Starting MySQL. [ OK ]

[root@iZsldoo8zx7zc9Z ~]#

本地配置完成,配置 RDS

(1)创建数据库账户:

图片4.png

图片5.png

图片6.png

(2)配置白名单

图片7.png

(3)创建 DTS 迁移任务

图片8.png

选择华北2,将本地自建 IP 地址填好

图片9.png

测试链接,链接通过

图片10.png

测试都通过后点击授权白名单并进入下一步

选择增量迁移和迁移的对象

图片11.png

预检查并启动,需要等待一段时间

图片12.png

检测成功之后开启任务,根据数据量选择规格

图片13.png

启动,DTS 处于迁移中

图片14.png

等待迁移完成即可,增量迁移会一直保持数据同步

图片15.png

 

 

 

 

 

 

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
1447 3
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
SQL 分布式计算 监控
在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
【2月更文挑战第32天】在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
182 6
|
8月前
|
SQL 容灾 关系型数据库
阿里云DTS踩坑经验分享系列|DTS打通SQL Server数据通道能力介绍
SQL Server 以其卓越的易用性和丰富的软件生态系统,在数据库行业中占据了显著的市场份额。作为一款商业数据库,外部厂商在通过解析原生日志实现增量数据捕获上面临很大的挑战,DTS 在 SQL Sever 数据通道上深研多年,提供了多种模式以实现 SQL Server 增量数据捕获。用户可以通过 DTS 数据传输服务,一键打破自建 SQL Server、RDS SQL Server、Azure、AWS等他云 SQL Server 数据孤岛,实现 SQL Server 数据源的流动。
518 0
阿里云DTS踩坑经验分享系列|DTS打通SQL Server数据通道能力介绍
|
网络协议 Java Linux
PyAV学习笔记(一):PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)
本文介绍了PyAV库,它是FFmpeg的Python绑定,提供了底层库的全部功能和控制。文章详细讲解了PyAV的安装过程,包括在Windows、Linux和ARM平台上的安装步骤,以及安装中可能遇到的错误和解决方法。此外,还解释了时间戳的概念,包括RTP、NTP、PTS和DTS,并提供了Python代码示例,展示如何获取RTSP流中的各种时间戳。最后,文章还提供了一些附录,包括Python通过NTP同步获取时间的方法和使用PyAV访问网络视频流的技巧。
3131 4
PyAV学习笔记(一):PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)
|
12月前
|
弹性计算 安全 容灾
阿里云DTS踩坑经验分享系列|使用VPC数据通道解决网络冲突问题
阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。本文介绍如何使用VPC数据通道解决网络冲突问题。
443 0
|
NoSQL 安全 容灾
阿里云DTS踩坑经验分享系列|Redis迁移、同步
阿里云数据传输服务DTS在帮助用户迁移Redis数据、同步数据时,在某些复杂场景下会出现报错,或者源库与目标库数据不一致的问题,给用户带来困扰。本文介绍了DTS Redis到Redis迁移、同步过程中的典型问题,以帮助用户更好地使用DTS。
1242 2
|
NoSQL MongoDB 数据库
DTS 的惊天挑战:迁移海量 MongoDB 数据时,捍卫数据准确完整的生死之战!
【8月更文挑战第7天】在数字化时代,大数据量的MongoDB迁移至关重要。DTS(数据传输服务)通过全面的数据评估、可靠的传输机制(如事务保证一致性)、异常处理(如回滚或重试),以及迁移后的数据校验来确保数据准确无损。DTS还处理数据转换与映射,即使面对不同数据库结构也能保持数据完整性,为企业提供可靠的数据迁移解决方案。
267 2
|
SQL 分布式计算 DataWorks
MaxCompute产品使用问题之dts是否支持传输数据到mc主键表2.0
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
177 2
|
SQL 运维 关系型数据库
阿里云DTS踩坑经验分享系列|数据不一致修复大法
阿里云数据传输服务DTS在帮助用户迁移数据、同步数据时,在某些复杂场景下会出现源库与目标库数据不一致的问题,造成数据错误,给用户带来困扰。由于数据不一致的问题很难完全避免,为了及时修复不一致的数据,DTS产品推出数据订正功能,保障用户在同步\迁移数据时的数据一致性。本文介绍了产生数据不一致的一些典型场景,并重点阐述了如何使用DTS数据订正功能来修复不一致的数据。
1124 4
|
存储 数据采集 NoSQL
DTS在迁移大数据量的MongoDB数据库时如何保证数据的准确性和完整性?
【6月更文挑战第4天】DTS在迁移大数据量的MongoDB数据库时如何保证数据的准确性和完整性?
331 1

热门文章

最新文章