开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问DataWorks中es增量同步到odps,怎么在过滤条件里面设置调度参数的时间戳呢?

请问DataWorks中es增量同步到odps,怎么在过滤条件里面设置调度参数的时间戳呢

展开
收起
真的很搞笑 2023-05-14 08:06:41 179 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    如果您需要在DataWorks中将ES数据增量同步到ODPS,并在过滤条件中设置调度参数的时间戳,可以按照以下步骤操作:

    1. 在DataWorks中创建一个ODPS数据同步节点,选择“增量同步”方式。

    2. 在“增量同步”页面中,选择“数据源”为“ES”,并配置相关的ES数据源信息。

    3. 在“同步配置”页面中,配置ODPS数据源的相关信息。

    4. 在“过滤配置”页面中,可以勾选“过滤条件”并设置相应的条件。对于时间戳,您可以使用DataWorks提供的预定义的系统变量${bdp.system.bizdate},该变量表示当前调度时间的前一天。

    5. 在“调度配置”页面中,可以配置同步任务的调度策略和调度参数。在调度参数中,可以设置时间戳参数的值为${bdp.system.bizdate}。

    6. 配置完成后,保存同步任务并启动调度即可实现将ES数据增量同步到ODPS,并根据时间戳过滤数据的功能。

    2023-05-16 15:57:36
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载