开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks从mysql 到 odps的整库同步流程中,如何给自动创建的表 不分区?

DataWorks从mysql 到 odps的整库同步流程中,如何给自动创建的表 不分区 不设置生命周期?image.png

展开
收起
cuicuicuic 2023-11-21 08:40:07 45 0
4 条回答
写回答
取消 提交回答
  • 月移花影,暗香浮动

    在DataWorks从MySQL到ODPS的整库同步流程中,如果需要给自动创建的表不分区、不设置生命周期,可以在数据同步任务的配置页面进行如下操作:

    1. 在源数据库配置页面,选择需要同步的数据库和表。
    2. 在目标端配置页面,选择目标ODPS项目和表空间。
    3. 在同步规则配置页面,选择需要同步的字段和数据类型。
    4. 在高级配置页面,找到“分区策略”选项,将其设置为“不分区”。
    5. 在高级配置页面,找到“生命周期”选项,将其设置为“无生命周期”。
    6. 完成以上配置后,保存并启动数据同步任务。

    通过以上步骤,可以实现将MySQL中的表整库同步到ODPS,且自动创建的表不分区、不设置生命周期。

    2023-11-28 17:04:58
    赞同 展开评论 打赏
  • 这里配置可以不改 先创建表 等刷新表映射的时候 使用已有表 不过建议是分区表 离线任务应该是清空写入,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-21 21:59:03
    赞同 展开评论 打赏
  • 在DataWorks从MySQL到ODPS的整库同步流程中,要给自动创建的表不分区且不设置生命周期,您可以按照以下步骤操作:

    1. 首先,确保您已经在MySQL端创建了相应的表并插入了时间戳类型的数据。
    2. 在ODPS端,创建与MySQL表结构相对应的表,确保字段类型为datetime。
    3. 配置同步任务,使用函数进行数据格式的转换。例如,您可以使用from_unixtime和unix_timestamp函数来将时间戳转换为datetime类型并同步到ODPS表中。
    4. 在DataWorks的数据集成界面,选择“整库离线同步至MaxCompute”方案。
    5. 在基本配置区域,配置同步解决方案的名称、任务存放位置等信息。
    6. 在数据来源区域,确认需要同步的源端数据源相关信息。
    7. 在选择同步的源表区域,选中需要同步的源表,并确保已选择整库全表或部分表进行同步。
    8. 在设置表名的映射规则区域,单击添加规则,选择相应的规则进行添加。
    9. 完成上述配置后,保存并运行同步任务。
    2023-11-21 15:07:35
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,可以从 MySQL 同步数据到 ODPS 并创建非分区表。具体步骤如下:

    1. 创建源数据源:在 DataWorks 中创建一个源数据源,指向 MySQL 数据库。
    2. 创建目标数据源:在 DataWorks 中创建一个目标数据源,指向 ODPS 数据库。
    3. 创建整库同步任务:定义映射关系,并选择创建非分区表。
    4. 启动整库同步任务:将 MySQL 数据库中的数据同步至 ODPS 数据库,并在映射过程中设置为创建非分区表。
    2023-11-21 13:38:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关镜像