上游节点:赋值节点nowday_format(将今天、昨天的标准时间转为时间戳(毫秒级))
当前节点:数据集成任务(从es读取数据放入MaxCompute中)
赋值节点的SQL手动跑过能够执行,并且都发布到生产环境后,选取这两个任务,进行补数据。
数据集成的日志如下:
2024-06-27 15:39:46 INFO SKYNET_PARAVALUE=bizdate=20240625 start_time=time_format[0][0] end_time=time_format[0][1]:
....
2024-06-27 15:39:46 INFO SKYNET_TASK_INPUT={"time_format":"@dw_get(6795739333.T3_3917588607.outputs)","time_format.length":"1"}:
....
2024-06-27 15:39:49 [INFO] Final Parsed variable replacement details: ['bizdate=20240625', 'start_time=time_format[0][0]', 'end_time=time_format[0][1]']
。
调度参数配置获取上下文参数,上下文参数已经读取到。但是最后调度参数写入执行上下文中,使用的仍是获取上下文参数的表达式。search的DSL,就直接引入了这个表达式,无法获取上下文参数的值。
执行的DSL如下:
{"size":10000,"slice":{"max":4,"id":3},"query":{"query":{"bool":{"should":[{"range":{"createTime":{"lt":"time_format[0][1]","gte":"time_format[0][0]"}}},{"range":{"modifyTime":{"lt":"time_format[0][1]","gte":"time_format[0][0]"}}}]}}}}
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。