开发者社区> 问答> 正文

如何创建数据订阅通道


数据订阅DTS提供的实时数据订阅功能,可以实时订阅RDS增量数据。轻松帮助业务解决轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。
如果需要使用数据订阅功能,实时订阅消费RDS增量数据,需要进行两个步骤的操作:

  1. 在DTS控制台,创建订阅RDS实例的订阅通道。
  2. 使用DTS提供的SDK,访问订阅通道,实时订阅并消费增量数据。

本小节主要简单介绍在DTS控制台创建订阅通道的流程。订阅通道配置流程简单,只要3个步骤即可完成整个配置过程。关于订阅通道的管理及SDK使用等参考DTS的产品使用手册。

数据订阅限制

  • 只支持RDS For MySQL实例
  • MySQL5.6 binlog的binlog_row_image格式必须为full
  • MySQL存储引擎只支持myisam,innodb
  • MySQL字符集只支持latin1、gbk、utf8、utf8mb4、binary


订阅通道配置步骤


下面详细介绍下创建一条订阅通道的配置步骤。

  1. 购买订阅通道。
    登录数据传输DTS控制台,选择左侧的 数据订阅,进入数据订阅页面。然后,点击页面右上角的 创建数据订阅 进入DTS购买页面。
    订阅通道支持包年包月及按量付费两种付费模式,可以根据需要选择不同的付费模式。
    在购买页面需要配置的参数包括:

    • 源实例地域
      源实例地域为需要订阅的RDS实例所在的地域。订购后不支持更换地域,所以选择时,请谨慎。

    • 数量
      数量为一次性购买的订阅通道的数量,如果购买的是按量付费实例,一次最多购买99条
      当购买完同步实例,返回数据传输控制台,点击新购链路右侧的“配置同步作业” 开始链路配置。

  • 订阅RDS实例ID配置。

    这个主要配置订阅通道名称及需要订阅的RDS实例ID。其中:
    • 订阅名称:订阅名称为订阅通道别名,没有唯一性要求。默认情况下,DTS为每个订阅通道自动生成一个名称,可以修改这个名称,为其配置一个具备业务意义的名称,便于后续的通道识别。

    • RDS实例ID: 需要订阅增量数据对应的RDS实例的实例ID。
      当这些内容配置完成后,可以点击页面右下角的 授权白名单并进入下一步。

  • 授权RDS实例白名单。

    这个步骤,主要是将DTS服务器IP添加到订阅RDS实例的白名单中。避免因RDS配置了白名单,DTS服务器不能连接RDS实例,从而导致订阅通道创建失败。
    为了保证订阅通道的稳定性,请勿将DTS服务器IP从RDS实例的白名单中删除。

  • 选择订阅对象。

    在这个步骤中,用户需要配置订阅的数据类型及订阅对象。其中:

    • 订阅数据类型:DTS将订阅数据类型细分为数据变更、结构变更。
      数据变更是指DML(包含insert/delete/update)。结构变更是指DDL(例如:create/drop/alter table)。
      如果订阅了结构变更,那么DTS会将整个RDS实例的所有结构变更拉取出来,用户如果只需要部分DDL的话,需要在SDK消费的时候进行过滤。

    • 订阅对象:DTS的订阅对象粒度细分为库、表。即用户可以选择订阅某些库或者是订阅某几张表。
      当完成上面的配置后,即进入订阅通道启动之前的前置预检查阶段。

  • 预检查。
    当订阅通道配置完成后,DTS会进行前置预检查,当预检查通过后,可以点击右下角的 开始订阅 ,启动订阅通道。

  • 启动订阅。
    当订阅通道刚创建完,会进入初始化阶段,这个阶段一般会持续1分钟左右。初始化完成后,即可在线查看订阅数据,或者使用SDK订阅增量数据
    至此,完成数据订阅通道的配置。
  • 展开
    收起
    云栖大讲堂 2017-10-31 10:30:44 1988 0
    0 条回答
    写回答
    取消 提交回答
    问答排行榜
    最热
    最新

    相关电子书

    更多
    基于RocketMQ Connect 构建全新数据流转处理平 立即下载
    低代码开发师(初级)实战教程 立即下载
    阿里巴巴DevOps 最佳实践手册 立即下载