数据集成-整库迁移 | 学习笔记

简介: 快速学习数据集成-整库迁移

开发者学堂课程【阿里云数据集成平台使用教程数据集成-整库迁移学习笔记,与课程紧密连接,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/430/detail/5372


数据集成-整库迁移


内容介绍:

一、登录平台

二、新增数据源

三、整库迁移

四、整库迁移功能区

五、提交任务

六、查看任务


一、登录平台

首先登录到数家数据集成产品页。


二、新增数据源

通过左侧的离线同步数据源标签,进入数据源管理页面,点击右上角新增数据源。为数据源起个名字,选择数据源类型,填写MySQL的JDBC信息,以及用户名和密码。

image.png


三、整库迁移

点击测试连通性,测试通过点击确定,成功增加一个  MySQL 数据源。点击该数据源右侧整库迁移,进入整库迁移面板。

image.png


四、整库迁移功能区

1.数据库里面所有的表。

2.右上角的高级设置

可在此进行表名称的转化(比如将 op 转换为 ods-op )、字段名称的转换(如 id 转换为 user-id )、字段类型的转换(根据业务需求进行转换)。

3.是选择整库迁移的一些参数

(1)选择同步方式

每日增量(将每天所产生的业务日期的数据增量同步到 MaxCompute 中,是通过日期制断进行控制.)和每日全量(将数据表中的所有数据进行同步到 MaxCompute  中).选择每日增量.时间日期: optime (可看到 where 条件过滤的一些 circle )。

(2)同步并发配置

分批上传(按需设置上传速率)和整批上传(将库里所有的表一次性同步上传)。(建议使用分批上传。)此处为了方便选择整批上传。


五、提交任务

点击提交任务(可看到任务进展。)    .

image.png


六、查看任务

点击同步任务查看上传的同步任务,可预览查看。

image.png

(可到运维中心任务管理查看运行结果。右键点击补数据节点,调度任务。可通过刷新查看任务进展或右键点击查看日志,运行成功。)

可去 select·from ods-oplog; 表中看数据同步情况。

相关文章
|
1月前
|
SQL DataWorks NoSQL
DataWorks报错问题之datax mongodb全量迁移报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
6月前
|
数据库 数据库管理
实时数仓Hologres可以使用DMS(Data Management Service)进行数据集成和迁移
实时数仓Hologres可以使用DMS(Data Management Service)进行数据集成和迁移
41 2
|
3月前
|
机器学习/深度学习
零基础入门语义分割-地表建筑物识别 Task6 模型集成-学习笔记
零基础入门语义分割-地表建筑物识别 Task6 模型集成-学习笔记
33 1
|
5月前
|
存储 监控 大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第八章数据集成和互操作篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第八章数据集成和互操作篇
|
8月前
java202304java学习笔记第五十二天员工管理-阿里云oss-集成服务2
java202304java学习笔记第五十二天员工管理-阿里云oss-集成服务2
68 0
|
10月前
|
监控 Dubbo 网络协议
【SpringBoot学习笔记 十四】SpringBoot+Dubbo+Zookeeper集成开发(下)
【SpringBoot学习笔记 十四】SpringBoot+Dubbo+Zookeeper集成开发(下)
154 0
|
10月前
|
消息中间件 监控 Dubbo
【SpringBoot学习笔记 十四】SpringBoot+Dubbo+Zookeeper集成开发
【SpringBoot学习笔记 十四】SpringBoot+Dubbo+Zookeeper集成开发
116 0
|
10月前
|
JSON 前端开发 Java
【SpringBoot学习笔记 十三】SpringBoot集成Swagger3.0
【SpringBoot学习笔记 十三】SpringBoot集成Swagger3.0
349 0
|
10月前
|
SQL XML 存储
【MyBatis学习笔记 一】MyBatis基本概念及项目集成
【MyBatis学习笔记 一】MyBatis基本概念及项目集成
77 0
|
10月前
|
机器学习/深度学习 算法 前端开发
学习笔记: 机器学习经典算法-集成学习策略
机器学习经典算法-个人笔记和学习心得分享
119 0