PG+MySQL第5课

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
简介: 本篇内容分享了PG+MySQL第5课。

分享人:Digoal 阿里云资深数据库专家


正文:

本篇内容将通过三个部分来介绍PG+MySQL第5课。

一、DTS数据传输服务

二、环境介绍

三、采用DTS迁移MySQL到PG及注意事项

image.png


一、DTS数据传输服务


DTS数据传输服务,支持关系数据库,分析型数据库之间的结构同步,全量同步以及增量同步的服务。它不仅能支持这些产品间的数据同步,还能支持数据的订阅服务。当业务需要把数据串连,我们可以把关系数据库的增量数据,同步到消息队列,应用可以同步消息队列的这数据,再把它分发到下游的系统。DTS数据传输服务主要应用在新零售的业务场景,精准的用户画像,广告营销等等。我环境配置有一台RDS MySQL8.0和一台PG12。

image.png


二、环境介绍


我们在MySQL8.0里创建一个test_mm测试表,id`写入:INT (11) NOT NULL AUTO_INCREMENT。user_id写入:VARCHAR (20) NOT NULL。group_id`写入:INT (11) NOT NULL。

image.png

然后,我们创建一个随机字符串函数,方便大家测试使用。

image.png

接下来,我们创建存储过程,随机获取函数生成的随机字符,在test表里面写数据。

image.png

紧接着,我们调用存储过程,调用100万次,生成100万条记录。新建一个innodb引擎和test innodb表。

image.png


三、采用DTS迁移MySQL到PG及注意事项


接下来,将DTS连接到MySQL或者PG实例的控制台。在页面上端,点击迁移数据库指引。弹出数据传输服务窗口,点击数据迁移,创建任务,命名任务名,选则实例,申请PG12实例id,创建数据库,指定RDS账号和密码,测试连接,在此过程,用户必须有数据库create schema的权限。

image.png

点击授权白名单,勾选需要的迁移结构,迁移全量数据和增量数据,点击预检查并启动任务,选择迁移的规格。规格不同,价格和带宽不同。点击立即购买并启

动。

image.png

完成结构迁移之后,迁移全量数据。新建任务,验证连通性,勾选迁移对象,配置批量修改,配置过滤条件,筛选字段,选中目标,验证它的连通性。勾选迁移内容,启动任务,在DTS控制台查看任务状态。

image.png

在迁移过程中,一定要注意权限。如果是mysql用户,必须拥有同步表的权限,如果是增量需要binglog权限。如果是pg库用户,必须拥有目标db创建schema的权限。与此同时,在迁移时一定要注意迁移的映射关系。PG查询时指定schema,或设置search_path参数。

 

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
安全 关系型数据库 数据库
上新|阿里云RDS PostgreSQL支持PG 16版本,AliPG提供丰富自研能力
AliPG在社区版16.0的基础上,在安全、成本、可运维性等多个方面做了提升,丰富的内核/插件特性支持,满足业务场景的需求
|
存储 SQL Oracle
PG+MySQL第14课
数据库使用者了解数据库的高级功能后,才能在业务场景里面使用,来提升整体的生产效率。
PG+MySQL第14课
|
关系型数据库 MySQL
为什么全网都在劝你在学PG,而不是MySQL?
为什么全网都在劝你在学PG,而不是MySQL?
325 0
为什么全网都在劝你在学PG,而不是MySQL?
|
SQL 编解码 并行计算
PG+MySQL第9课-实时精准营销
通常业务场景会涉及基于标签条件圈选目标客户、基于用户特征值扩选相似人群、群体用户画像分析这些技术,本文将围绕这三个场景去介绍在实施精准营销里面的PG数据库的使用
PG+MySQL第9课-实时精准营销
|
SQL 数据采集 机器学习/深度学习
PG+MySQL第13课
数据库使用者了解数据库的高级功能后,才能在业务场景里面使用,来提升整体的生产效率。
PG+MySQL第13课
|
存储 SQL 自然语言处理
PG+MySQL第12课
数据库使用者了解数据库的高级功能后,才能在业务场景里面使用,来提升整体的生产效率
PG+MySQL第12课
|
存储 机器学习/深度学习 算法
PG+MySQL第11课-多维向量搜索
多维向量搜索不仅可以用在特征值的相似圈选这类场景,还可以用在图像识别场景。而不同的向量支持不同的距离算法,如cube、imgsmlr和pase.
PG+MySQL第11课-多维向量搜索
|
存储 SQL 搜索推荐
PG+MySQL第10课-多维组合搜索
多维组合查询也是pg非常擅长的产品,它的解决方法或者优化方法非常的多,并且也具备了跟搜索引擎一样的倒排索引技术,可以便捷有效地解决任意字段组合查询的业务场景诉求
PG+MySQL第10课-多维组合搜索
|
存储 SQL 编解码
PG+MySQL第8课
今天给大家分享的主题是时空空间,时空数据库概念以及实战。主要从这3个方面:空间/时空数据库的概念;应用场景;四个模型的使用案例,主要是一些概念性的东西以及它案例的操作性的东西。
PG+MySQL第8课
|
SQL 存储 并行计算
G+MySQL第7课-PG的并行计算跟JIT
PG的并行计算跟JIT,分别应用在分析型的业务场景,比如复杂的TB级别的实时分析场景。本篇内容将从2个部分为读者介绍PG+MySQL联合解决方案,希望可以让大家对PG+MySQL有更深入的了解,并可以将这些特性应用到项目中,达到降本提效的目的。
G+MySQL第7课-PG的并行计算跟JIT