DataWorks的基本开发流程是什么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
1.建表上传数据
在任务开发中新建一个节点任务,写入DDL建表语句,运行即可完成建表,通过找表即可找到新建的表:
// 各个版本DataWorks可能稍有不同
2.创建工作流
创建任务时选择工作流任务即可创建工作流:
一般而言会创建一个虚节点用于做控制节点,虚节点对运行数据不产生任何影响,仅用于对下游节点的控制,一般而言,虚节点作为根节点控制整个工作流。
3.创建同步任务
注意RDS等数据源需要添加白名单等(ECS添加安全组)
首先需要项目管理员新建数据源:
新版DataWorks是在数据集成中新建,老板的在项目管理中:
新建的数据同步在新版中是数据集成的左上角,老板的需要在新建任务时选择任务类型:
// 底层核心应该是DataX
简单起见,可以用向导模式,可视化同步数据
4.配置周期和依赖
双击打开任务后,在页面右侧点击任务属性即可配置(新版略有不同):
即可配置周期调度以及依赖属性了,当有依赖任务时必须等待上游任务跑完才能执行(即使本身已到运行时间)
5.运维日志管理
可以通过运维中心查看任务,右击即可管理查看