开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中odps sql 任务 这个参数和 partition 里该怎么填?

DataWorks中odps sql 任务 这个参数和 partition 里该怎么填?

展开
收起
cuicuicuic 2023-11-13 11:57:31 90 0
4 条回答
写回答
取消 提交回答
  • 在DataWorks的Odps SQL任务中,partition参数是用来配置分区信息的。如果你需要读取整个表的所有分区的数据,可以将partition参数配置为"partition":"pt=,ds="。

    此外,你还可以根据实际需求设置分区数据的获取条件。例如,如果你需要指定最大的分区,可以添加"/query/ ds= (select MAX (ds) from DataXODPSReaderPPR)"配置信息。如果需要按条件过滤,可以添加相关条件的/query/ pt+表达式配置。例如,"/query/ pt>=20170101 and pt<20170110"表示获取pt分区中,20170101日期之后(包含20170101日期),至20170110日期之前(不包含20170110日期)的所有数据。

    总的来说,你需要根据你的实际需求和数据分布来合理配置partition参数。

    2023-11-30 16:36:11
    赞同 展开评论 打赏
  • 在DataWorks中ODPS SQL任务参数填写时,请参照以下格式:--param <param_name>=<param_value> --partition <partition_name>=<partition_value>
    这里的 <param_name> 是自定义参数名称, <param_value> 是与该参数相对应的值; <partition_name> 是分区名称, <partition_value> 是该分区对应的值。
    举例来说,假设我们有一个名为 test_table 的表,并且我们想要查询其中的一个分区 dt=20210101 ,则参数填写如下:

    --param name1=value1 --partition dt=20210101
    

    注意,在运行ODPS SQL任务前,务必确保所填入的分区值存在于ODPS表中。

    2023-11-13 22:02:07
    赞同 展开评论 打赏
  • where 读 like "202311%" ; insert写入 202311 ,日期用调度参数代替 配置为月调度任务,可以模糊匹配过滤出202311xx分区的数据 然后写入到202311的分区 其中202311可以用调度参数来做替换
    配置 arg=$[yyyymm]
    调用 ${arg},此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-13 16:18:44
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,ODPS SQL任务中的一些参数和分区信息需要根据具体的业务需求来填写。以下是一些常见的参数和分区示例:

    1. 参数设置:您可以填写一些自定义参数供ODPS SQL任务使用。例如,您可以填写一个自定义参数 bizdate ,并在ODPS SQL中使用该参数作为动态参数。请参阅《DataWorks V2.0 ODPS SQL任务》以获取更多详细信息。
    2. 分区设置:您可以根据业务需求创建ODPS表的分区。例如,您可以为表创建一个名为date的分区,其中包含每日的数据。请参阅《ODPS SQL大全》以获取更多详细信息。
    2023-11-13 13:37:32
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载