DataWorks中odps sql 任务 这个参数和 partition 里该怎么填?
在DataWorks的Odps SQL任务中,partition
参数是用来配置分区信息的。如果你需要读取整个表的所有分区的数据,可以将partition
参数配置为"partition":"pt=,ds="。
此外,你还可以根据实际需求设置分区数据的获取条件。例如,如果你需要指定最大的分区,可以添加"/query/ ds= (select MAX (ds) from DataXODPSReaderPPR)"配置信息。如果需要按条件过滤,可以添加相关条件的/query/ pt+表达式配置。例如,"/query/ pt>=20170101 and pt<20170110"表示获取pt分区中,20170101日期之后(包含20170101日期),至20170110日期之前(不包含20170110日期)的所有数据。
总的来说,你需要根据你的实际需求和数据分布来合理配置partition
参数。
在DataWorks中ODPS SQL任务参数填写时,请参照以下格式:--param <param_name>=<param_value> --partition <partition_name>=<partition_value>
这里的 <param_name>
是自定义参数名称, <param_value>
是与该参数相对应的值; <partition_name>
是分区名称, <partition_value>
是该分区对应的值。
举例来说,假设我们有一个名为 test_table
的表,并且我们想要查询其中的一个分区 dt=20210101
,则参数填写如下:
--param name1=value1 --partition dt=20210101
注意,在运行ODPS SQL任务前,务必确保所填入的分区值存在于ODPS表中。
where 读 like "202311%" ; insert写入 202311 ,日期用调度参数代替 配置为月调度任务,可以模糊匹配过滤出202311xx分区的数据 然后写入到202311的分区 其中202311可以用调度参数来做替换
配置 arg=$[yyyymm]
调用 ${arg},此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,ODPS SQL任务中的一些参数和分区信息需要根据具体的业务需求来填写。以下是一些常见的参数和分区示例:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。