DataWorks中如何实现dataworks的补数据模式?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,可以通过以下步骤实现补数据模式:
创建数据表:首先,在DataWorks中创建一个数据表,用于存储原始数据和补充数据。在创建数据表时,需要定义表的字段和数据类型等信息,并确保表的结构和原始数据的结构一致。
导入原始数据:将原始数据导入到创建的数据表中,以便进行补充数据的处理。在导入原始数据时,需要确保数据格式和表结构一致,并按照时间顺序进行排序。
创建补充数据节点:在DataWorks中创建一个补充数据节点,用于补充数据。在创建补充数据节点时,需要设置节点的输入、输出和参数等信息。
编写补充数据程序:使用SQL编写补充数据程序,实现数据的读取、转换和补充等操作。在编写补充数据程序时,需要根据数据的业务逻辑和需求,选择合适的SQL语句和算法,以便实现数据的补充。
运行补充数据节点:将补充数据程序提交到补充数据节点中
进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。单击左上方的
图标,选择全部产品 > 任务运维 > 运维中心(工作流)。在左侧导航栏,单击周期任务运维 > 周期任务,进入周期任务页面。目标节点补数据。单击周期任务列表中的目标任务,打开该任务的DAG图。您也可以单击图标展开周期任务列表,单击目标任务操作列的DAG图,打开该任务的DAG图。右键单击目标节点,鼠标悬停至补数据,选择相应的补数据模式,配置补数据的相关参数。说明 您也可以在周期任务页面,单击图标展开周期任务列表,单击目标任务操作列的补数据,选择相应的补数据模式,对该周期任务进行补数据。该操作即对目标周期任务所包含的所有节点统一进行补数据。补数据的模式及参数配置如下:使用当前节点模式补数据。参数配置如下。参数 描述
补数据名称 系统会自动生成补数据名称,您可以根据需要进行修改。
当前任务 当前选中的任务。
业务日期
是否并行
并行数
顺序 您可以选择按照业务日期正序或业务日期倒序进行补数据。使用当前节点及下游节点模式补数据。参数配
https://help.aliyun.com/document_detail/137937.html
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。