开发者社区> 问答> 正文

Dataworks提示分区不存在如何解决

已解决

Dataworks提示分区不存在如何解决

展开
收起
提个问题 2024-06-01 12:02:48 52 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    如果被提示分区不存在:
    1. 请先用odps sql节点查询分区情况。
    2. 然后根据正确配置规则优化配置。
    ODPS读插件指定分区技巧:
    1. 同步任务可以支持ODPS的数据列、分区列、常量列,但不支持函数列 ODPS分区配置支持linux shell通配符,表示0个或多个字符,代表任意一个字符。
    2. 如果想读取pt=1下的所有分区,分区信息中配置 :pt=1,ds=*; 
    3. 如果想读取整个test表的所有分区的数据,分区信息中配置 :pt=*,ds=*;
    4. 如果需要指定最大分区,可以配置如下信息:
        /*query*/ ds=(select MAX(ds) from DataXODPSReaderPPR)
    5. 如果需要按条件过滤,可以配置如下信息:
        /*query*/ pt>=20170101 and pt<20170110,表示pt分区大于等于20170101且小于20170110的所有数据。
    ODPS写插件指定分区技巧:
    1. 需要写入数据表的分区信息,必须指定到最后一级分区。把数据写入一个三级分区表,必须配置到最后一级分区例如:pt=20150101/type=1/biz=2
    注意:不支持写入多个分区,识别到分区不存在数据集成任务会报错避免不了。
    2024-06-01 12:02:49
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载