在离线节点编辑页面,选择数据来源。 参数 描述 数据源 输入LogHub数据源的名称。 Logstore 导出增量数据的表的名称。该表需要开启Stream,可以在建表时开启,或者使用UpdateTable接口开启。 日志开始时间 数据消费的开始时间位点,为时间范围(左闭右开)的左边界,为yyyyMMddHHmmss格式的时间字符串(例如20180111013000)。该参数可以和DataWorks的调度时间参数配合使用。 日志结束时间 数据消费的结束时间位点,为时间范围(左闭右开)的右边界,为yyyyMMddHHmmss格式的时间字符串(例如20180111013010)。该参数可以和DataWorks的调度时间参数配合使用。 批量条数 一次读取的数据条数,默认为256。说明 您可以进行数据预览,此处仅选择LogHub中的几条数据展现在预览框。由于您在进行同步任务时,会指定开始时间和结束时间,会导致预览结果和实际的同步结果不一致。选择MaxCompute数据源及目标表。选择字段的映射关系。在通道控制中配置作业速率上限和脏数据检查规则。确认当前节点的配置无误后,单击左上角的保存。运行离线同步节点。您可以通过以下两种方式运行离线同步节点:直接运行(一次性运行)单击节点编辑页面工具栏中的运行图标,直接在页面运行。说明 运行之前需要配置自定义参数的具体取值。调度运行单击节点编辑页面工具栏中的提交图标,提交离线同步节点至调度系统,调度系统会根据配置的属性,从第2天开始自动定时运行。 如上图所示,设置开始时间为系统前10分钟,结束时间为系统前5分钟:startTime=$[yyyymmddhh24miss-10/24/60] endTime=$[yyyymmddhh24miss-5/24/60]。https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5993359951/p70851 https://help.aliyun.com/document_detail/137831.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。