数据集成-整库迁移 | 学习笔记

简介: 快速学习数据集成-整库迁移

开发者学堂课程【阿里云数据集成平台使用教程数据集成-整库迁移学习笔记,与课程紧密连接,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/430/detail/5372


数据集成-整库迁移


内容介绍:

一、登录平台

二、新增数据源

三、整库迁移

四、整库迁移功能区

五、提交任务

六、查看任务


一、登录平台

首先登录到数家数据集成产品页。


二、新增数据源

通过左侧的离线同步数据源标签,进入数据源管理页面,点击右上角新增数据源。为数据源起个名字,选择数据源类型,填写MySQL的JDBC信息,以及用户名和密码。

image.png


三、整库迁移

点击测试连通性,测试通过点击确定,成功增加一个  MySQL 数据源。点击该数据源右侧整库迁移,进入整库迁移面板。

image.png


四、整库迁移功能区

1.数据库里面所有的表。

2.右上角的高级设置

可在此进行表名称的转化(比如将 op 转换为 ods-op )、字段名称的转换(如 id 转换为 user-id )、字段类型的转换(根据业务需求进行转换)。

3.是选择整库迁移的一些参数

(1)选择同步方式

每日增量(将每天所产生的业务日期的数据增量同步到 MaxCompute 中,是通过日期制断进行控制.)和每日全量(将数据表中的所有数据进行同步到 MaxCompute  中).选择每日增量.时间日期: optime (可看到 where 条件过滤的一些 circle )。

(2)同步并发配置

分批上传(按需设置上传速率)和整批上传(将库里所有的表一次性同步上传)。(建议使用分批上传。)此处为了方便选择整批上传。


五、提交任务

点击提交任务(可看到任务进展。)    .

image.png


六、查看任务

点击同步任务查看上传的同步任务,可预览查看。

image.png

(可到运维中心任务管理查看运行结果。右键点击补数据节点,调度任务。可通过刷新查看任务进展或右键点击查看日志,运行成功。)

可去 select·from ods-oplog; 表中看数据同步情况。

相关文章
|
11月前
|
SQL DataX HIVE
【YashanDB知识库】DataX迁移Hive到崖山分布式
本文来自YashanDB官网,介绍通过DataX将Hive数据迁移到YashanDB的实现方法。源环境为Hive 3.1.3,目标为YashanDB 23.2.3.100。文章提供了Hive与YashanDB的建表脚本、数据类型映射及DataX配置示例,包含reader和writer插件参数设置,并通过`datax.py`执行同步任务。内容详尽展示了数据迁移的全流程。
【YashanDB知识库】DataX迁移Hive到崖山分布式
|
11月前
|
JSON 分布式计算 DataX
【YashanDB知识库】使用DataX工具迁移yashan数据到maxcompute
本文介绍使用崖山适配的DataX工具进行数据库迁移的方法,包括单表迁移和批量表迁移。单表迁移需配置json文件并执行同步命令;批量迁移则通过脚本自动化生成json配置文件并完成数据迁移,最后提供数据比对功能验证迁移结果。具体步骤涵盖连接信息配置、表清单获取、json文件生成、数据迁移执行及日志记录,确保数据一致性。相关工具和脚本简化了复杂迁移过程,提升效率。
|
人工智能 数据处理 C#
AI Dev Gallery:微软开源 Windows AI 模型本地运行工具包和示例库,助理开发者快速集成 AI 功能
微软推出的AI Dev Gallery,为Windows开发者提供开源AI工具包和示例库,支持本地运行AI模型,提升开发效率。
855 13
|
SQL 搜索推荐 数据管理
离线集成整库迁移再升级,定制化与灵活性全面增强
为了更好地满足客户对于数据库迁移过程中的个性化管理和操作需求,我们最新版本对“离线集成整库迁移”功能进行了更新,旨在解决客户在实际应用中遇到的痛点,进一步提升迁移任务的可管理性和便捷性。
245 2
|
jenkins 持续交付
jenkins学习笔记之六:共享库方式集成构建工具
jenkins学习笔记之六:共享库方式集成构建工具
|
Java jenkins Shell
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
|
DataWorks NoSQL fastjson
DataWorks操作报错合集之DataX进行MongoDB全量迁移的过程中,DataX的MongoDB Reader插件在初始化阶段找不到Fastjson 2.x版本的类库,该怎么办
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
jenkins 持续交付
jenkins学习笔记之九:jenkins认证集成github
jenkins学习笔记之九:jenkins认证集成github
|
安全 jenkins 持续交付
jenkins学习笔记之八:jenkins认证集成gitlab
jenkins学习笔记之八:jenkins认证集成gitlab
|
jenkins Devops 持续交付
jenkins学习笔记之七:jenkins集成LDAP用户认证
jenkins学习笔记之七:jenkins集成LDAP用户认证