开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据集成,mysql分表可以按照分表 导入多分区吗?

DataWorks数据集成,mysql分表可以按照分表 导入多分区吗。比如同步hive分区表预留分区字段,source_name,将分表名称写入对应分区source_name中?

展开
收起
真的很搞笑 2024-03-19 14:36:27 65 0
2 条回答
写回答
取消 提交回答
  • 如果原表名 以及目标分区名都和 日期有关 那可以尝试用脚本模式配置实现 其他场景 目前不支持,动态分区,参照下面文档:
    https://yq.aliyun.com/articles/81775?spm=5176.8091938.0.0.J0vyeB
    单表实时同步写入到MaxCompute支持根据来源字段内容动态分区;

    离线同步任务不支持动态分区,但是可以通过增量同步的方式来实现动态分区,比如源端mysql通过where过滤出update_time为20221010的数据,写入到目标odps表20221010的分区。

    image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-03-19 18:08:24
    赞同 展开评论 打赏
  • 是的,DataWorks数据集成支持按照分表导入多分区。您可以使用DataWorks的MySQL分库分表同步功能,将MySQL的分表数据按照指定的分区规则导入到Hive分区表中。

    具体步骤如下:

    • 在DataWorks中创建MySQL数据源和Hive数据源。

    • 在DataWorks中创建同步任务,选择MySQL数据源和Hive数据源作为源和目标。

    • 在同步任务中配置同步规则,选择MySQL分库分表同步功能,并指定分表规则和分区规则。

    • 在同步任务中配置目标Hive分区表的分区字段,将分表名称写入对应的分区字段中,例如source_name。

    • 配置同步任务的其他参数,如同步频率、同步时间等。

    • 部署和启动同步任务,即可按照分表导入多分区,将MySQL的分表数据导入到Hive分区表中。

    2024-03-19 15:07:37
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载

    相关镜像