Dataworks提示分区不存在如何解决
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
如果提示分区不存在:
请先用ODPS sql节点查询分区情况。
然后根据我们的正确配置规则优化配置。
ODPS读插件指定分区技巧:
同步任务可以支持ODPS的数据列、分区列、常量列,但不支持函数列 ODPS分区配置支持linux shell通配符,表示0个或多个字符,代表任意一个字符。
如果你想读取pt=1下的所有分区,分区信息中配置:pt=1,ds=*;
如果你想读取整个test表的所有分区的数据,分区信息中配置:pt=,ds=;
如果需要指定最大分区,可以配置如下信息: /query/ ds=(select MAX(ds) from DataXODPSReaderPPR)
如果需要按条件过滤,可以配置如下信息:/query/ pt>=20170101 and pt<20170110,表示pt分区大于等于20170101且小于20170110的所有数据。
ODPS写插件指定分区技巧:
请注意:不支持写入多个分区。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。