开发者社区 问答 正文

DataWorks的基本开发流程是什么?

DataWorks的基本开发流程是什么?

展开
收起
芯在这 2021-12-08 10:40:36 520 分享 版权
1 条回答
写回答
取消 提交回答
  • 1.建表上传数据

    在任务开发中新建一个节点任务,写入DDL建表语句,运行即可完成建表,通过找表即可找到新建的表:

    // 各个版本DataWorks可能稍有不同

    2.创建工作流

    创建任务时选择工作流任务即可创建工作流:

    一般而言会创建一个虚节点用于做控制节点,虚节点对运行数据不产生任何影响,仅用于对下游节点的控制,一般而言,虚节点作为根节点控制整个工作流。

    3.创建同步任务

    注意RDS等数据源需要添加白名单等(ECS添加安全组)

     首先需要项目管理员新建数据源:

     新版DataWorks是在数据集成中新建,老板的在项目管理中:

     新建的数据同步在新版中是数据集成的左上角,老板的需要在新建任务时选择任务类型:

     // 底层核心应该是DataX

    简单起见,可以用向导模式,可视化同步数据

    4.配置周期和依赖

    双击打开任务后,在页面右侧点击任务属性即可配置(新版略有不同):

     即可配置周期调度以及依赖属性了,当有依赖任务时必须等待上游任务跑完才能执行(即使本身已到运行时间)

    5.运维日志管理

    可以通过运维中心查看任务,右击即可管理查看

    2021-12-08 10:45:42
    赞同 展开评论