开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks如何将maxcompute生产环境数据同步到对应的开发环境?

DataWorks如何将maxcompute生产环境数据同步到对应的开发环境?

展开
收起
cuicuicuic 2023-10-16 21:00:02 85 0
4 条回答
写回答
取消 提交回答
  • 在DataWorks中,可以通过创建数据同步任务将MaxCompute生产环境的数据同步到对应的开发环境。首先,需要创建一个数据同步任务,并选择源端为MaxCompute生产环境的数据源,同时选择目的端为开发环境的数据源。

    为了完成此操作,DataWorks通过空间级预设角色与开发环境MaxCompute引擎Role的映射关系,赋予被授予空间角色的RAM用户(子账号)拥有该角色映射的开发引擎权限。这些用户默认拥有开发环境对应的引擎项目权限,但无生产环境对应的引擎项目权限。

    当配置好数据同步的规则和映射关系后,就可以提交任务以进行数据同步。在整个过程中,如果存在生产环境关联的同步任务,需要格外注意,因为删除开发环境和生产环境的数据源是不可逆的操作,删除后,在开发环境配置同步任务时此数据源将不可见。如果生产环境在使用此数据源配置的同步任务,删除后,生产环境任务可能不可正常运行。

    最后,值得强调的是,在实际应用过程中,我们常常会需要将开发和生产环境进行隔离,开发环境用于数据同步测试,生产环境用于生产数据的同步处理。

    2023-10-31 23:48:35
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks提供了MaxCompute数据同步服务,可以将MaxCompute生产环境数据同步到对应的开发环境。具体步骤如下:

    1. 在DataWorks中创建一个数据同步任务,选择源端和目的端的数据源,然后配置数据同步的规则和映射关系。
    2. 在源端选择MaxCompute数据源,将生产环境的表作为源数据。
    3. 在目的端选择MaxCompute数据源,将开发环境的表作为目的数据。
    4. 配置数据同步的规则和映射关系,将生产环境的表中的数据同步到开发环境的表中。
    5. 点击“运行”按钮,开始数据同步任务。
    2023-10-17 15:56:01
    赞同 展开评论 打赏
  • 可以通过指定项目名前缀来指定访问生产表、开发表,insert+select方式写入 权限问题可以通过安全中心申请,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-17 08:11:38
    赞同 展开评论 打赏
  • DataWorks可以使用同步任务将MaxCompute生产环境数据同步到对应的开发环境。具体步骤如下:

    1. 在DataWorks中创建一个数据同步任务。
    2. 选择源端为MaxCompute生产环境的数据源。
    3. 选择目的端为开发环境的数据源。
    4. 配置数据同步的规则和映射关系。
    5. 在数据同步任务的配置页面中,选择“开发环境”作为源端数据源。
    6. 点击“保存”按钮,完成数据同步任务的创建。
    7. 在DataWorks中启动数据同步任务,将MaxCompute生产环境数据同步到对应的开发环境。
    2023-10-16 21:36:43
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载