开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何实现离线同步节点数据的配置?

DataWorks如何实现离线同步节点数据的配置?

展开
收起
真的很搞笑 2023-06-11 13:58:31 102 0
1 条回答
写回答
取消 提交回答
  • 在离线节点编辑页面,选择数据来源。image.png 参数 描述 数据源 输入LogHub数据源的名称。 Logstore 导出增量数据的表的名称。该表需要开启Stream,可以在建表时开启,或者使用UpdateTable接口开启。 日志开始时间 数据消费的开始时间位点,为时间范围(左闭右开)的左边界,为yyyyMMddHHmmss格式的时间字符串(例如20180111013000)。该参数可以和DataWorks的调度时间参数配合使用。 日志结束时间 数据消费的结束时间位点,为时间范围(左闭右开)的右边界,为yyyyMMddHHmmss格式的时间字符串(例如20180111013010)。该参数可以和DataWorks的调度时间参数配合使用。 批量条数 一次读取的数据条数,默认为256。说明 您可以进行数据预览,此处仅选择LogHub中的几条数据展现在预览框。由于您在进行同步任务时,会指定开始时间和结束时间,会导致预览结果和实际的同步结果不一致。选择MaxCompute数据源及目标表。选择字段的映射关系。在通道控制中配置作业速率上限和脏数据检查规则。确认当前节点的配置无误后,单击左上角的保存。运行离线同步节点。您可以通过以下两种方式运行离线同步节点:直接运行(一次性运行)单击节点编辑页面工具栏中的运行图标,直接在页面运行。说明 运行之前需要配置自定义参数的具体取值。调度运行单击节点编辑页面工具栏中的提交图标,提交离线同步节点至调度系统,调度系统会根据配置的属性,从第2天开始自动定时运行。image.png 如上图所示,设置开始时间为系统前10分钟,结束时间为系统前5分钟:startTime=$[yyyymmddhh24miss-10/24/60] endTime=$[yyyymmddhh24miss-5/24/60]。https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5993359951/p70851 https://help.aliyun.com/document_detail/137831.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-11 14:09:11
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多