Dataworks提示分区不存在如何解决

已解决

Dataworks提示分区不存在如何解决

展开
收起
阿里云服务支持 2022-12-13 11:42:49 552 分享 版权
1 条回答
写回答
取消 提交回答
  • 推荐回答
    官方回答

    如果提示分区不存在:

    1. 请先用ODPS sql节点查询分区情况。

    2. 然后根据我们的正确配置规则优化配置。

    ODPS读插件指定分区技巧:

    1. 同步任务可以支持ODPS的数据列、分区列、常量列,但不支持函数列 ODPS分区配置支持linux shell通配符,表示0个或多个字符,代表任意一个字符。

    2. 如果你想读取pt=1下的所有分区,分区信息中配置:pt=1,ds=*;

    3. 如果你想读取整个test表的所有分区的数据,分区信息中配置:pt=,ds=

    4. 如果需要指定最大分区,可以配置如下信息: /query/ ds=(select MAX(ds) from DataXODPSReaderPPR)

    5. 如果需要按条件过滤,可以配置如下信息:/query/ pt>=20170101 and pt<20170110,表示pt分区大于等于20170101且小于20170110的所有数据。

    ODPS写插件指定分区技巧:

    1. 需要写入数据表的分区信息,必须指定到最后一级分区。把数据写入一个三级分区表,必须配置到最后一级分区例如:pt=20150101/type=1/biz=2

    请注意:不支持写入多个分区

    2022-12-13 11:48:57
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
还有其他疑问?
咨询AI助理