开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

dataworks MaxCompute表 那个非分区表可以使用实时同步吗?

dataworks MaxCompute表 那个非分区表可以使用实时同步吗?

展开
收起
真的很搞笑 2023-10-17 11:09:28 39 0
4 条回答
写回答
取消 提交回答
  • 目前实时同步只能是分区表哈,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-18 18:10:18
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    DataWorks的实时同步功能确实支持对MaxCompute的非分区表进行操作。在进行实时同步任务的配置时,您可以选择写入MaxCompute分区表或是非分区表,并自定义分区字段的名称。更进一步,如果需要将源端所有 doc 前缀的表名,在写入目标端时统一更新为 ods 前缀,这样的数据整合也是可以做到的。

    同时,您还可以创建整库实时同步节点,配置资源组,并在数据来源区域选择要同步的数据源类型和数据源名称等信息。此外,对于单表实时同步至MaxCompute的任务,也支持自定义分区配置。

    然而,需要注意的是,当实时同步至MaxCompute默认数据源(一般为 odps_first )时,默认使用临时AK进行同步,临时AK超过7天会自动过期,这可能会导致任务运行失败。如果任务配置了该类型的监控报警,您将会收到报警信息。因此,在使用实时同步功能时,务必注意管理好相关的权限和配置。

    2023-10-18 14:10:31
    赞同 展开评论 打赏
  • 配置并管理实时同步任务
    https://help.aliyun.com/zh/dataworks/user-guide/configure-and-manage-a-real-time-synchronization-node-3?spm=a2c4g.11186623.0.i142

    使用限制
    实时数据同步任务仅支持使用独享数据集成资源组。

    实时同步节点目前仅支持同步PolarDB、MySQL、OceanBase数据源至AnalyticDB MySQL。
    实时数据同步任务暂不支持同步没有主键的表。

    完成数据源、网络、资源的准备配置后,您可创建实时同步节点,同步数据至AnalyticDB MySQL。本文为您介绍如何创建数据实时同步任务,并在创建完成后查看任务运行情况。

    前提条件
    已完成数据源配置。您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见实时同步支持的数据源。
    说明
    数据源相关能力介绍详情请参见:数据源概述。
    已购买合适规格的独享数据集成资源组。详情请参见:新增和使用独享数据集成资源组。
    独享数据集成资源组与数据源网络已打通。详情请参见:配置资源组与网络连通。
    数据源环境已准备完成:您可以基于您需要进行的同步配置,在同步任务执行前,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述。

    2023-10-17 14:51:53
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,非分区表是可以使用实时同步功能的。但是,需要注意以下几点:

    1. 实时同步功能只支持MaxCompute的非分区表。
    2. 在创建MaxCompute表时,需要确保表结构与DataWorks的数据源结构相匹配。
    3. 在创建MaxCompute表时,需要确保表的列类型与DataWorks的数据源类型相匹配。
    4. 在创建MaxCompute表时,需要确保表的列名称与DataWorks的数据源名称相匹配。
    5. 在创建MaxCompute表时,需要确保表的列名称与DataWorks的数据源列名称相匹配。

    如果以上条件满足,就可以使用DataWorks的实时同步功能将非分区表的数据实时同步到MaxCompute中。

    2023-10-17 13:13:01
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载