开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

MaxCompute里从odps到odps数据同步,可以同步一个分区的部分数据吗

"问题一:你好,从odps到odps数据同步,可以同步一个分区的部分数据吗,添加where条件吗?或者实时同步?支持么?我知道可以指定分区,但是我只想同步一个分区里面的部分数据,对一个普通字段进行过滤支持么?用数据集成同步,数据集成里好像没法筛选a2e88580e3294c3050a9e3e9e803bba7.png原表没办法动,表很大,就一个分区同步,就需要5个小时才能跑完,现在有个需求想要按小时出数据 问题二:跨项目访问要怎么做呢,同区域,不同账号"

展开
收起
饭也太好吃了 2023-06-09 14:16:05 102 0
1 条回答
写回答
取消 提交回答
  • "回答一:不行的,你可以将你需要导出的数据写道一个表里面就可以,复杂一点的做法就是打flag,然后指定flag为分区字段,同步的时候加个分区,如果你不能动原表那就只能建新表了,where过滤 你可以不用DataWorks数据集成,直接跨项目访问,用insert overwrite 回答二:假设有账号A,projectA,账号B,projectB 需要把projectA的数据同步到projectB里面 1、使用账号A登录 projectA添加账号B授权权限 add user ALIYUN$<account_name>; https://help.aliyun.com/document_detail/411971.html 2、使用账号B登录projectB,执行SQL insert overwrite table projectB.tablename partition xxxxx select xxx from projectA.tablename,此回答整理自钉群“MaxCompute开发者社区2群(答疑@机器人)” "

    2023-06-09 15:34:01
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    MaxCompute Serverless 架构演进 立即下载
    Data+AI时代大数据平台应该如何建设 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载