数据订阅DTS提供的实时数据订阅功能,可以实时订阅RDS增量数据。轻松帮助业务解决轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。
如果需要使用数据订阅功能,实时订阅消费RDS增量数据,需要进行两个步骤的操作:
- 在DTS控制台,创建订阅RDS实例的订阅通道。
- 使用DTS提供的SDK,访问订阅通道,实时订阅并消费增量数据。
本小节主要简单介绍在DTS控制台创建订阅通道的流程。订阅通道配置流程简单,只要3个步骤即可完成整个配置过程。关于订阅通道的管理及SDK使用等参考DTS的产品使用手册。
数据订阅限制
- 只支持RDS For MySQL实例
- MySQL5.6 binlog的binlog_row_image格式必须为full
- MySQL存储引擎只支持myisam,innodb
- MySQL字符集只支持latin1、gbk、utf8、utf8mb4、binary
订阅通道配置步骤
下面详细介绍下创建一条订阅通道的配置步骤。
购买订阅通道。
登录数据传输DTS控制台,选择左侧的 数据订阅,进入数据订阅页面。然后,点击页面右上角的 创建数据订阅 进入DTS购买页面。
订阅通道支持包年包月及按量付费两种付费模式,可以根据需要选择不同的付费模式。
在购买页面需要配置的参数包括:
源实例地域
源实例地域为需要订阅的RDS实例所在的地域。订购后不支持更换地域,所以选择时,请谨慎。
数量
数量为一次性购买的订阅通道的数量,如果购买的是按量付费实例,一次最多购买99条
当购买完同步实例,返回数据传输控制台,点击新购链路右侧的“配置同步作业” 开始链路配置。
订阅RDS实例ID配置。
这个主要配置订阅通道名称及需要订阅的RDS实例ID。其中:
- 订阅名称:订阅名称为订阅通道别名,没有唯一性要求。默认情况下,DTS为每个订阅通道自动生成一个名称,可以修改这个名称,为其配置一个具备业务意义的名称,便于后续的通道识别。
RDS实例ID: 需要订阅增量数据对应的RDS实例的实例ID。
当这些内容配置完成后,可以点击页面右下角的 授权白名单并进入下一步。
授权RDS实例白名单。
这个步骤,主要是将DTS服务器IP添加到订阅RDS实例的白名单中。避免因RDS配置了白名单,DTS服务器不能连接RDS实例,从而导致订阅通道创建失败。
为了保证订阅通道的稳定性,请勿将DTS服务器IP从RDS实例的白名单中删除。
选择订阅对象。
在这个步骤中,用户需要配置订阅的数据类型及订阅对象。其中:
订阅数据类型:DTS将订阅数据类型细分为数据变更、结构变更。
数据变更是指DML(包含insert/delete/update)。结构变更是指DDL(例如:create/drop/alter table)。
如果订阅了结构变更,那么DTS会将整个RDS实例的所有结构变更拉取出来,用户如果只需要部分DDL的话,需要在SDK消费的时候进行过滤。
订阅对象:DTS的订阅对象粒度细分为库、表。即用户可以选择订阅某些库或者是订阅某几张表。
当完成上面的配置后,即进入订阅通道启动之前的前置预检查阶段。
预检查。
当订阅通道配置完成后,DTS会进行前置预检查,当预检查通过后,可以点击右下角的 开始订阅 ,启动订阅通道。
启动订阅。
当订阅通道刚创建完,会进入初始化阶段,这个阶段一般会持续1分钟左右。初始化完成后,即可在线查看订阅数据,或者使用SDK订阅增量数据。
至此,完成数据订阅通道的配置。