DataWorks中如何在同步节点配置调度参数?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,同步节点的调度参数可以在同步节点的属性面板中进行配置。具体步骤如下:
打开同步节点:在DataWorks控制台的数据集成页面中,找到需要设置调度参数的同步节点,双击节点打开属性面板。
进入调度参数设置页面:在同步节点的属性面板中,选择“高级属性”选项卡。然后在“调度配置”区域中,选择“自定义参数”选项,即可进入调度参数设置页面。
配置调度参数:在调度参数设置页面中,可以设置多个调度参数,并指定其取值。具体参数及其意义如下:
sync_max_map_num:同步任务最大并发数,即同时执行同步任务的最大数量。取值范围为1~100,默认值为10。
sync_max_bandwidth:同步任务的最大带宽,即每个同步任务的最大传输速度。取值范围为1~1000,单位为MB/s,默认值为10。
sync_task_queue_size:同步任务队列大小,即同步任务的等待队列的最大长度。取值范围为1~10000,默认值为1000。
在设置调度参数时,需要根据实际情况进行合理配置,以优化同步任务的执行效率和性能。
保存设置:在配置完调度参数后,单击“确定”按钮,保存设置即可。
在DataWorks中,在同步节点配置调度参数可以通过以下步骤完成:
通过以上步骤,你可以在同步节点任务中配置调度参数,以满足特定的调度需求。例如,你可以使用调度参数来指定任务执行日期、时间,或者设置任务的触发方式(如定时调度、手动触发等)。
离线同步节点中,经常需要使用调度参数进行数据过滤,下文将为您介绍如何在同步任务中配置调度参数。在数据开发页面,双击相应业务流程下的离线同步节点名称,打开节点编辑页面,单击右侧的调度配置进行配置。您可以设置离线同步节点的运行周期、运行时间和调度依赖等属性。由于离线同步节点是ETL工作的开始,所以没有上游节点,此时建议使用工作空间根节点作为上游。完成离线同步节点的配置后,请保存并提交节点。详情请参加调度配置。
https://help.aliyun.com/document_detail/137717.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。