开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks 数据集成数据源ES的search配置能否使用上下文参数?若能,应该如何使用。

上游节点:赋值节点nowday_format(将今天、昨天的标准时间转为时间戳(毫秒级))
当前节点:数据集成任务(从es读取数据放入MaxCompute中)
赋值节点的SQL手动跑过能够执行,并且都发布到生产环境后,选取这两个任务,进行补数据。
数据集成的日志如下:
2024-06-27 15:39:46 INFO SKYNET_PARAVALUE=bizdate=20240625 start_time=time_format[0][0] end_time=time_format[0][1]:
....
2024-06-27 15:39:46 INFO SKYNET_TASK_INPUT={"time_format":"@dw_get(6795739333.T3_3917588607.outputs)","time_format.length":"1"}:
....
2024-06-27 15:39:49 [INFO] Final Parsed variable replacement details: ['bizdate=20240625', 'start_time=time_format[0][0]', 'end_time=time_format[0][1]']

调度参数配置获取上下文参数,上下文参数已经读取到。但是最后调度参数写入执行上下文中,使用的仍是获取上下文参数的表达式。search的DSL,就直接引入了这个表达式,无法获取上下文参数的值。
执行的DSL如下:
{"size":10000,"slice":{"max":4,"id":3},"query":{"query":{"bool":{"should":[{"range":{"createTime":{"lt":"time_format[0][1]","gte":"time_format[0][0]"}}},{"range":{"modifyTime":{"lt":"time_format[0][1]","gte":"time_format[0][0]"}}}]}}}}

展开
收起
游客w4jvdex3mfjyw 2024-06-27 16:12:21 45 0
0 条回答
写回答
取消 提交回答

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载