通过DTS将RDS的数据实时同步至DataHub

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

准备工作

  • 创建一个数据库和表,您可以选择使用阿里云的RDS数据库,也可以在本地服务器上自建数据库。本案例以华东1区的RDS MySQL数据库为例,数据库表的名称为datav_test,字段及数据如下图所示。

  • 登录阿里云Datahub控制台,选择华东1,单击创建Project,创建一个Datahub项目(本案例的项目名称为dts_test)。

数据同步

  1. 进入阿里云DTS控制台,单击左侧菜单栏中的数据同步
  2. 单击创建同步作业,购买数据传输服务实例,配置如下图所示。

注意

 - **源实例**选择**MySQL**,**目标实例**选择**Datahub**。
 - 源实例区域和目标实例区域以及同步作业实例区域需保持一致。
  1. 购买成功后,返回控制台,单击实例右侧的配置同步链路
  2. 选择同步通道的源及目标实例,如下图所示,完成后单击授权白名单并进入下一步

  1. 选择同步对象。选择需要同步的表,单击 > 图标按钮。

  1. 单击预检查并启动,启动预检查。如果预检查成功,系统会显示如下对话框。

  1. 单击关闭,返回数据同步页面,单击页面右上角的刷新,查看实例状态。此时正常情况下,实例状态应该显示为初始化中

说明:初始化的时间依赖于同步表的数量大小。

  1. 当初始化完成后,同步链路即进入同步中的状态,此时源跟目标实例的同步链路才真正建立完成。单击页面右上角的刷新,查看实例的同步概况。

  1. 进入阿里云Datahub控制台,单击项目右侧的查看,进入Topic页面,可以看到已经同步完成的表的名称即为topic的名称。

  1. 单击topic右侧的查看,选择Schema,查看已经同步完成的表的结构。

数据采集

说明:由于Datahub同步的是增量数据,因此您必须在数据库中增加一条或多条数据,才能同步到Datahub中。此案例采用手动插入数据的方式,仅作为参考,在实际应用中,您表中的数据应该是实时写入的。

  1. 登录您的数据库,在表中插入一条数据,如下图所示。

  1. 回到阿里云Datahub控制台,单击topic右侧的查看,选择Shards
  2. 单击某个shard右侧的数据抽样
  3. Shard数据抽样页面,指定一个时间(该时间要小于等于最新数据时间,否则无法抽取数据),单击抽样,查看数据同步结果。

常见问题

  1. DTS 数据同步失败,如何处理?

可能原因:同步链路规格配置不合适导致。

解决方法:参考数据同步规格说明,选择合适的规格,重新创建同步作业。

  1. Datahub 中单击数据抽样,抽样数据为空,如何处理?

可能原因:

  • 指定的时间大于最新数据时间
  • 数据库中不存在增量数据。

解决方法:

  1. 在进行数据抽样时,设置指定的时间小于等于最新数据时间,再次单击抽样,查看数据是否为空。

    • 是,执行下一步。
    • 否,问题解决。
  2. 在您的数据库中插入一条或多条数据,重新回到Datahub控制台,对数据进行抽样。

    如果问题仍然无法解决,请在控制台上提交工单,或者直接联系阿里云技术支持工程师。
    

(本文作者为阿里云大数据产品文档工程师)

相关文章
|
27天前
|
消息中间件 关系型数据库 Kafka
一种小资源情况下RDS数据实时同步StarRocks方案
使用一台4C8 G服务器轻松实现2个MySQL实例中通过负责分库分表规则之后的5000多张表的数据实时同步到StarRocks
157 67
|
1月前
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
|
27天前
|
弹性计算 安全 容灾
阿里云DTS踩坑经验分享系列|使用VPC数据通道解决网络冲突问题
阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。本文介绍如何使用VPC数据通道解决网络冲突问题。
86 0
|
2月前
|
消息中间件 监控 关系型数据库
MySQL数据实时同步到Elasticsearch:技术深度解析与实践分享
在当今的数据驱动时代,实时数据同步成为许多应用系统的核心需求之一。MySQL作为关系型数据库的代表,以其强大的事务处理能力和数据完整性保障,广泛应用于各种业务场景中。然而,随着数据量的增长和查询复杂度的提升,单一依赖MySQL进行高效的数据检索和分析变得日益困难。这时,Elasticsearch(简称ES)以其卓越的搜索性能、灵活的数据模式以及强大的可扩展性,成为处理复杂查询需求的理想选择。本文将深入探讨MySQL数据实时同步到Elasticsearch的技术实现与最佳实践。
189 0
|
4月前
|
NoSQL MongoDB 数据库
DTS 的惊天挑战:迁移海量 MongoDB 数据时,捍卫数据准确完整的生死之战!
【8月更文挑战第7天】在数字化时代,大数据量的MongoDB迁移至关重要。DTS(数据传输服务)通过全面的数据评估、可靠的传输机制(如事务保证一致性)、异常处理(如回滚或重试),以及迁移后的数据校验来确保数据准确无损。DTS还处理数据转换与映射,即使面对不同数据库结构也能保持数据完整性,为企业提供可靠的数据迁移解决方案。
73 2
|
4月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之MySQL到MySOL的批量实时同步该如何操作
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用问题之dts是否支持传输数据到mc主键表2.0
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
6月前
|
Java 关系型数据库 MySQL
实时计算 Flink版产品使用问题之如何实现MySQL数据库之间的实时同步
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
关系型数据库 MySQL 数据处理
实时计算 Flink版产品使用问题之任务无法实时同步MySQL到StarRocks中修改的数据,是什么原因
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
关系型数据库 数据库 RDS
利用DTS将自建mysql5.7版本数据库迁移至对应rds报错
利用DTS将自建mysql5.7版本数据库迁移至对应rds报错
154 0

热门文章

最新文章