开发者社区> 问答> 正文

数据传输服务DTS的功能特性(什么是数据订阅?)


实时数据订阅功能旨在帮助用户获取RDS/DRDS的实时增量数据,用户能够根据自身业务需求自由消费增量数据,例如实现缓存更新策略、业务异步解耦、异构数据源数据实时同步及含复杂ETL的数据实时同 步等多种业务场景。

功能列表


(1) 支持公共云、金融云RDS For MySQL实例的数据订阅。(2) 支持经典网络、VPC网络下RDS For MySQL实例的数据订阅。

数据源类型


实时数据订阅支持的数据源类型包括:

  • RDS For MySQL
  • DRDS

其中,DRDS 不记录事务日志,所以如果需要订阅DRDS的实时增量数据,那么需要通过订阅DRDS底层挂载的RDS实例的增量日志来实现。

订阅对象


数据订阅的订阅对象可以为:库、表。用户可以根据需要订阅某几个表的增量数据。
数据订阅将增量数据细分为数据变更(Data Manipulation Language 简称DML)和结构变更(Data Definition Language,简称DDL),配置数据订阅时,可以选择需要订阅的具体数据变更类型。

订阅通道


订阅通道是进行增量数据订阅与消费的基本单元。如果要订阅RDS的增量数据,必须在数据传输控制台创建一个针对这个RDS实例的订阅通道。订阅通道会实时拉取RDS的增量数据,并将最新一段时间的增量数据保存在订阅通道中,用户可以使用数据传输提供SDK从这个订阅通道中订阅增量数据,并进行相应的消费。同时,用户可以在数据传输控制台进行订阅通道的创建、管理及删除等操作。一个订阅通道同时只能被一个下游SDK订阅消费,如果用户有多个下游需要订阅同一个RDS实例时,需要创建多个订阅通道。这些订阅通道订阅的RDS实例均为同一个实例ID。
订阅通道在创建及运行过程中,不同阶段会处于不同的状态,具体如下表所示:
通道状态状态说明可进行操作
预检中订阅通道已经完成任务配置,正在进行启动之前的简单预检查删除订阅
未启动迁移任务已经通过迁移之前的预检查,但是还没有启动订阅- 开始订阅- 删除订阅
初始化订阅通道正在进行启动初始化,一般需要1分钟左右删除订阅
正常订阅通道正在正常拉取RDS实例的增量数据- 查看示例代码- 查看订阅数据- 删除订阅
异常订阅通道拉取RDS实例增量数据异常- 查看示例代码- 删除订阅


高级特性


数据订阅支持多种特性,有效降低用户使用门槛,主要包括:(1) 动态增减订阅对象, 在数据订阅过程中,用户可以随时增加或减少需要订阅的对象。(2) 在线查看订阅数据, 数据传输DTS控制台支持在线查看订阅通道中的增量数据。(3) 修改消费时间点,数据订阅支持用户随时修改需要消费数据对应的时间点。(4) 完善监控体系, 数据订阅提供订阅通道状态、下游消费延迟的报警监控功能。用户可以根据业务敏感度,自定义消费延迟报警阈值。

展开
收起
云栖大讲堂 2017-10-31 10:00:35 2722 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
DTS助力企业快速复制阿里巴巴异地多活架构 立即下载
蚂蚁聚宝虫洞项目技术方案介绍 ——云与端之间数据传输的桥梁 立即下载
DTS控制台一本通 立即下载