开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks中离线同步读取MaxCompute(ODPS)表数据时,如何同步分区字段?

DataWorks中离线同步读取MaxCompute(ODPS)表数据时,如何同步分区字段?

展开
收起
真的很搞笑 2023-06-26 14:00:26 61 0
2 条回答
写回答
取消 提交回答
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    读取MaxCompute(ODPS)表数据时,想同步分区字段可以在字段映射处选择添加一行,输入分区列名,如分区列有pt等;

    读取MaxCompuet(ODPS)表数据时,想同步多个分区数据,先读取数据所在的分区信息。 ODPS的分区配置支持linux shell通配符,*表示0个或多个字符,?表示任意一个字符。 默认情况下,读取的分区必须存在,如果分区不存在则运行的任务会报错。如果您希望当分区不存在时任务仍然执行成功,则可以切换至脚本模式执行任务,并在ODPS的Parameter中添加"successOnNoPartition": true配置。

    您还可以根据实际需求设置分区数据的获取条件(以下操作需要转脚本模式配置任务): 如果您需要指定最大分区,则可以添加/query/ ds=(select MAX(ds) from DataXODPSReaderPPR)配置信息。 如果需要按条件过滤,则可以添加相关条件/query/ pt+表达式配置。例如/query/ pt>=20170101 and pt<20170110表示获取pt分区中,20170101日期之后(包含20170101日期),至20170110日期之前(不包含20170110日期)的所有数据。

    说明  /query/表示将其后填写的内容识别为一个where条件。

    2023-06-26 15:08:37
    赞同 1 展开评论 打赏
  • 请在字段映射处选择添加一行,输入分区列明,如分区列有pt等; https://help.aliyun.com/document_detail/146663.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-26 14:03:54
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载