开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks synchronization of data to MaxCompute ?

DataWorks synchronization of data to MaxCompute only supports partitioned tables?

展开
收起
cuicuicuic 2023-10-10 17:58:45 34 0
3 条回答
写回答
取消 提交回答
  • 在DataWorks中,将数据同步到MaxCompute(原名:ODPS)时,数据同步任务支持对分区表进行同步。

    MaxCompute是一个分布式计算和存储平台,支持以分区为单位的数据组织。使用DataWorks进行数据同步时,如果您要将数据同步到MaxCompute中的表,并且该表是分区表,那么可以利用DataWorks的同步节点来实现分区级别的数据同步。

    通过DataWorks的同步节点,您可以选择源数据和目标表,并指定要同步的分区条件。这样,您可以按照分区的粒度,将源数据同步到MaxCompute的相应分区中。

    另外,值得注意的是,如果您要同步的目标表不是分区表,则无法直接使用DataWorks的同步节点来实现分区级别的同步。在这种情况下,您可能需要考虑其他方法,如自定义的MaxCompute脚本或使用其他工具进行数据迁移和同步。

    2023-10-11 14:54:00
    赞同 展开评论 打赏
  • Real-time synchronization of data to MaxCompute only supports partitioned tables?
    A:因为同步解决方案目前只支持分区表。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-11 09:05:59
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,同步数据到 MaxCompute 的功能只支持分区表,不支持非分区表。这是因为 MaxCompute 的数据处理和存储机制是基于分区的,而非分区表的数据处理和存储更为复杂和困难,因此 DataWorks 目前只支持分区表的同步功能。
    需要注意的是,如果需要将非分区表同步到 MaxCompute,可以先将非分区表转换为分区表,然后再进行同步。

    2023-10-10 23:00:31
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载