数据集成—开发模式 | 学习笔记

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 快速学习数据集成—开发模式

开发者学堂课程【阿里云数据集成平台使用教程数据集成—开发模式学习笔记,与课程紧密连接,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/430/detail/5370


数据集成—开发模式


内容介绍

一、数据集成开发模式的分类

二、定义及其优缺点

三、两种模式进行数据同步任务配置的步骤


一、数据集成开发模式的分类

数据集成为大家提供两种开发模式来配置数据同步的任务,一种是向导模式,一种是脚本模式。


二、定义及其优缺点

1、向导模式

(1)定义:是提供 step by step 的引导,帮助我们快速的完成数据任务的配置。

(2)优点:学习成本比较低,非常简单和辩解。

(3)弱点:无法享受到本产品的一些高级调优功能。

2、脚本模式

(1)定义:用户可以直接去编写数据同步的接近脚本来完成数据同步任务的开发,比较适合高级用户。

(2)优点:非常的灵活,可以享受一些高级的调优功能。

(3)缺点:但是他的学习成本 比较高。


三、两种模式进行数据同步任务配置的步骤

1、向导模式配置步骤

image.png

1)首先,点击向导模式。在这里可以看到向导模式总共被分成了五个步骤,这五个步骤用于进行数据同步任务的配置。前两个步骤是配置数据源,第三个步骤是配置字段的映射,第四个步骤是数据通道的一个配置,最后是进行预览保存。

(2)接下来,选择数据源。我们选择从 mysql 数据源往 odps进行数据同步,选择一张 mysql ,点击数据预览,点击下一步。

(3)第二步,选择目标。我们选择 max computer ,也就是 odps数据源。在这里,你可以下拉选择一张 max computer 表,也可以点击快速建表,新建一张表,点击下一步。

(4)第三步,是提供了字段之间的一个通过连线方式进行一一字段连接的方式。你可以把鼠标放到这条线上,去擦掉原来的连接关系,重新连接,进行更新,点击下一步。

(5)第四步,选择数据同步作业的一个速率上限,以及所容错的数据记录数。

(6)第五步,预览整个同步任务并且保存。

(7)需要给此次同步任务进行命名,这样我们就通过向导模式完成了一次数据同步任务的配置。

2、脚本模式配置步骤

(1)首先也可以选择数据的来源和目标数据库。这里我们选择 stream 同步到 stream ,点击确认。

(2)进入开发面板之后,可以看到已经预加载的一些代码:在这里,你可以修改里面的一些参数,改成你自己所需要的对应的业务参数。如果对这些参数有疑问,可以查看上面的一些帮助手册,我们提供了 reader 和 writer 两个插件的帮助手册。

(3)保存这次的脚本模式的同步任务,点击确认。

(4)然后进行任务测试运行。

(5)执行完成之后,可以看到任务的一些参数。这些参数可以告诉我们,它是在什么时间点启动,以及整个任务的平均耗时和流量。

相关文章
|
4月前
|
jenkins 持续交付
jenkins学习笔记之六:共享库方式集成构建工具
jenkins学习笔记之六:共享库方式集成构建工具
|
4月前
|
Java jenkins Shell
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
|
4月前
|
jenkins 持续交付
jenkins学习笔记之九:jenkins认证集成github
jenkins学习笔记之九:jenkins认证集成github
|
4月前
|
安全 jenkins 持续交付
jenkins学习笔记之八:jenkins认证集成gitlab
jenkins学习笔记之八:jenkins认证集成gitlab
|
4月前
|
jenkins Devops 持续交付
jenkins学习笔记之七:jenkins集成LDAP用户认证
jenkins学习笔记之七:jenkins集成LDAP用户认证
|
7月前
|
机器学习/深度学习
零基础入门语义分割-地表建筑物识别 Task6 模型集成-学习笔记
零基础入门语义分割-地表建筑物识别 Task6 模型集成-学习笔记
84 1
|
存储 监控 大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第八章数据集成和互操作篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第八章数据集成和互操作篇
110 0
java202304java学习笔记第五十二天员工管理-阿里云oss-集成服务2
java202304java学习笔记第五十二天员工管理-阿里云oss-集成服务2
89 0
|
Java Spring
java202304java学习笔记第六十一天-ssm-spring配置文件-spring集成web环境
java202304java学习笔记第六十一天-ssm-spring配置文件-spring集成web环境
79 0
java202304java学习笔记第六十一天-ssm-spring配置文件-spring集成web环境
|
监控 Dubbo 网络协议
【SpringBoot学习笔记 十四】SpringBoot+Dubbo+Zookeeper集成开发(下)
【SpringBoot学习笔记 十四】SpringBoot+Dubbo+Zookeeper集成开发(下)
185 0