开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

MaxCompute中的 Odps 数据迁移有文档吗

MaxCompute中的 Odps 数据迁移有文档吗

展开
收起
yesmashuai 2023-06-23 08:26:19 91 0
1 条回答
写回答
取消 提交回答
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    从MaxCompute到MaxCompute迁移数据的场景有:

    场景一:两个网络互通的专有云环境之间数据迁移,这种场景需要先从源MaxCompute中导出元数据DDL,在目标MaxCompute中初始化表,然后借助DataX工具完成数据迁移,

    1、安装配置ODPS客户端 https://help.aliyun.com/document_detail/27804.html

    2.安装配置Datax客户端,

    3.表结构迁移

    4.数据迁移,从源ODPS读取数据写入到目标ODPS,先按照“表结构迁移”在目标ODPS创建一个表,做DataX数据同步验证。

    场景二:公共云数加DataIDE上两个云账号之间数据迁移,

    一个公司很可能会申请多个云账号,假如每个云账号都开通了MaxCompute,很可能就会碰到两个云账号的MaxCompute之间数据迁移。公共云上都借助于DataIDE使用MaxCompute,而DataIDE上面本身提供了数据同步任务,我们通过配置数据同步任务即可很容易的完成数据迁移。

    执行步骤如下:

    1、在其中一个MaxCompute项目空间项目管理中添加数据源,该数据源为另一个云账号的MaxCompute项目空间。

    2、在DataIDE数据开发中新建“数据同步”任务,如果目标数据源中表还不存在,可以点击“快速建ODPS表”,配置字段映射等。

    3、保存之后点击“测试运行”即可。

    场景三:网络不通的两个MaxCompute项目数据迁移等等。

    这种场景做数据同步局限性比较大,由于网络不通,数据迁移必须要在中间落盘后再写入,所以当数据量比较大时要考虑磁盘容量、带宽等问题。

    大数据平台Hive数据迁移至阿里云ODPS平台流程与问题记录 可以参考一下链接:

    https://www.cnblogs.com/yangp/p/9235386.html

    2023-06-23 09:01:53
    赞同 1 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载