DataWorks中离线同步读取MaxCompute（ODPS）表数据时，如何同步分区字段？
DataWorks中离线同步读取MaxCompute（ODPS）表数据时，如何同步分区字段？
写回答
-
十年摸盘键，代码未曾试。 今日码示君，谁有上云事。读取MaxCompute（ODPS）表数据时，想同步分区字段可以在字段映射处选择添加一行，输入分区列名，如分区列有pt等；
读取MaxCompuet（ODPS）表数据时，想同步多个分区数据，先读取数据所在的分区信息。 ODPS的分区配置支持linux shell通配符，*表示0个或多个字符，？表示任意一个字符。 默认情况下，读取的分区必须存在，如果分区不存在则运行的任务会报错。如果您希望当分区不存在时任务仍然执行成功，则可以切换至脚本模式执行任务，并在ODPS的Parameter中添加"successOnNoPartition": true配置。
您还可以根据实际需求设置分区数据的获取条件（以下操作需要转脚本模式配置任务）： 如果您需要指定最大分区，则可以添加/query/ ds=(select MAX(ds) from DataXODPSReaderPPR)配置信息。 如果需要按条件过滤，则可以添加相关条件/query/ pt+表达式配置。例如/query/ pt>=20170101 and pt<20170110表示获取pt分区中，20170101日期之后（包含20170101日期），至20170110日期之前（不包含20170110日期）的所有数据。
说明 /query/表示将其后填写的内容识别为一个where条件。
2023-06-26 15:08:37赞同 1 展开评论 打赏 -
请在字段映射处选择添加一行，输入分区列明，如分区列有pt等； https://help.aliyun.com/document_detail/146663.html，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
2023-06-26 14:03:54赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
热门讨论
热门文章
相关文章
相关电子书
更多
