开发者学堂课程【阿里云数据集成平台使用教程:数据集成—开发模式】学习笔记,与课程紧密连接,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/430/detail/5370
数据集成—开发模式
内容介绍
一、数据集成开发模式的分类
二、定义及其优缺点
三、两种模式进行数据同步任务配置的步骤
一、数据集成开发模式的分类
数据集成为大家提供两种开发模式来配置数据同步的任务,一种是向导模式,一种是脚本模式。
二、定义及其优缺点
1、向导模式
(1)定义:是提供 step by step 的引导,帮助我们快速的完成数据任务的配置。
(2)优点:学习成本比较低,非常简单和辩解。
(3)弱点:无法享受到本产品的一些高级调优功能。
2、脚本模式
(1)定义:用户可以直接去编写数据同步的接近脚本,来完成数据同步任务的开发,比较适合高级用户。
(2)优点:非常的灵活,可以享受一些高级的调优功能。
(3)缺点:但是他的学习成本 比较高。
三、两种模式进行数据同步任务配置的步骤
1、向导模式配置步骤
(1)首先,点击向导模式。在这里可以看到向导模式总共被分成了五个步骤,这五个步骤用于进行数据同步任务的配置。前两个步骤是配置数据源,第三个步骤是配置字段的映射,第四个步骤是数据通道的一个配置,最后是进行预览保存。
(2)接下来,选择数据源。我们选择从 mysql 数据源往 odps进行数据同步,选择一张 mysql 表,点击数据预览,点击下一步。
(3)第二步,选择目标。我们选择 max computer ,也就是 odps数据源。在这里,你可以下拉选择一张 max computer 表,也可以点击快速建表,新建一张表,点击下一步。
(4)第三步,是提供了字段之间的一个通过连线方式进行一一字段连接的方式。你可以把鼠标放到这条线上,去擦掉原来的连接关系,重新连接,进行更新,点击下一步。
(5)第四步,选择数据同步作业的一个速率上限,以及所容错的数据记录数。
(6)第五步,预览整个同步任务并且保存。
(7)需要给此次同步任务进行命名,这样我们就通过向导模式完成了一次数据同步任务的配置。
2、脚本模式配置步骤
(1)首先也可以选择数据的来源和目标数据库。这里我们选择 stream 同步到 stream ,点击确认。
(2)进入开发面板之后,可以看到已经预加载的一些代码:在这里,你可以修改里面的一些参数,改成你自己所需要的对应的业务参数。如果对这些参数有疑问,可以查看上面的一些帮助手册,我们提供了 reader 和 writer 两个插件的帮助手册。
(3)保存这次的脚本模式的同步任务,点击确认。
(4)然后进行任务测试运行。
(5)执行完成之后,可以看到任务的一些参数。这些参数可以告诉我们,它是在什么时间点启动,以及整个任务的平均耗时和流量。