开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks的数据集成实时同步mysql数据吗?

dataworks的数据集成实时同步mysql数据吗?ID=VCvUPH4B1r73GMJAUyL1 INDEX=1

展开
收起
滴滴滴~ 2023-03-07 14:58:09 494 0
2 条回答
写回答
取消 提交回答
  • DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL Binlog实现的,实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的5.x或8.x版本的MySQL,不支持配置为DRDS的MySQL。此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-09 09:17:11
    赞同 展开评论 打赏
  • 存在即是合理

    DataWorks的数据集成支持实时同步MySQL数据。您可以使用DataWorks提供的同步节点将MySQL数据库中的数据实时同步到数据仓库或者其他目标数据存储系统中。

    具体实现步骤如下:

    1、在DataWorks中创建数据源,选择MySQL数据源,并且配置好MySQL数据库的连接信息。

    2、在同步任务的“数据源配置”页面选择刚刚创建的MySQL数据源,完成数据源与DataWorks的对接。

    3、配置同步任务,设置同步任务的名称、同步数据源、同步目标存储系统等信息。

    4、在同步任务中添加同步节点,选择MySQL Reader节点和目标存储系统Writer节点,设置同步数据源和目标存储系统的连接信息。

    5、配置MySQL Reader节点,选择要同步的MySQL表,并且设置同步任务的增量同步模式。

    6、配置目标存储系统的Writer节点,设置写入目标数据存储系统的表名、字段映射关系、分区信息等。

    7、运行同步任务并查看同步状态,实现MySQL数据实时同步到目标数据存储系统。

    2023-03-07 15:21:10
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    集成智能接入网关APP:优化企业级移动办公网络 立即下载
    《DataWorks 数据集成实时同步》 立即下载
    云效助力企业集成安全到DevOps中 立即下载

    相关镜像