RDS数据订阅服务使用说明

RDS数据订阅服务主要解决的RDS上的数据同步到HBase，用户可以在HBase上查到RDS的数据，满足大数据查询分析的需求

使用场景

历史数据沉淀

业务使用MySQL承担交易等关键的在线业务，同时有数据分析的需求，需要做一些复杂查询，但不能影响在线业务。利用BDS异构数据源迁移，把RDS数据实时同步到HBase，可以轻松应对大数据查询需求。

迁移方式

RDS历史数据迁移

• 通过Sqoop完成RDS历史数据迁移到HBase
• 通过DataX完成RDS历史数据迁移到HBase

RDS实时增量数据迁移

• DTS服务提供对RDS binlog收集，实时抓取源RDS实例的binlog，并提供数据订阅的功能
• BDS迁移服务订阅DTS所收集的数据，将实时的数据写入到HBase

迁移步骤

RDS历史数据迁移

客户自行使用开源的工具完成数据的迁移

RDS实时增量数据迁移

1. 客户 - 开通DTS订阅通道
2. 客户 - DTS通道上设置延迟报警
3. 客户 - 获取DTS通道id、Access Key、Access Key Secret、RegionID等信息
4. 客户 - 申请一台ECS并且绑定公网，ECS和云HBase属于同一个VPC，能够打通和HBase集群的网络
5. 云HBase值班同学 - 协助部署BDS迁移服务，并对客户提供迁移服务的交互界面
6. 客户 - 在HBase里面创建表信息
7. 客户 - 录入HBase集群信息、DTS通道信息，提交迁移任务

版本支持

HBase版本：1.x、2.x
RDS版本：订阅通道的限制

BDS迁移服务使用说明

录入HBase集群信息

HDFS HA 的填写例子
集群名：xxxxx
HDFS URI：hdfs://100.81.140.116:8025,100.81.140.120:8025
HBase在HDFS根目录：/hbase
dfs.nameservices: hbase-cluster
clusterKey:  100.81.140.116,100.81.140.120,100.81.140.122:2185:/hbase

HDFS 非HA 的填写例子
集群名：xxxxx
HDFS URI：hdfs://100.81.140.116:8025
HBase在HDFS根目录：/hbase
dfs.nameservices:
clusterKey: 100.81.140.116,100.81.140.120,100.81.140.122:2185:/hbase

DTS增量数据订阅

RDS迁移到HBase Mapping例子

[
  {
    "rds_table_name": "hhh_test.phoenix_test",
    "hbase_table_name": "default:phoenix_test",
    "config": {
      "skip_delete": true
    },
    "columns_mapping": [
      {
        "name": "cf1:hhh",
        "src_columns": [
          "id",
          "title"
        ],
        "expression": "{{ concat(title, id) }}"
      },
      {
        "name": "cf1:*",
        "src_columns": [
          "*"
        ]
      }
    ],
    "rowkey_mapping": {
      "src_columns": [
        "id"
      ],
      "expression": "{{ concat('idg', id) }}"
    }
  }
]

Mapping说明

• 支持简单的表达式，如下

{
    "name": "cf1:address",
     "src_columns": ["address"],
    "expression": "{{ concat('idg', id) }}"
 }

• 支持动态列，没有匹配到的列会走默认的匹配

{
    "name": "cf1:*",
    "src_columns": ["*"]
}

• DML支持情况

• DDL支持情况