基于DTS Serverless构建一站式实时数据集成服务

背景

在企业的数字化转型背景下，企业需要数据中台数据实时集成，提升数据分析的时效性。DTS推出了从数据库将业务数据实时同步到数据仓库的解决方案，帮助客户挖掘商机，调整商业策略。同时，为了解决在客户业务负载多变的情况下灵活稳定支持数据传输的问题，DTS推出了Serverless版本，支持按需自动弹性伸缩链路规格，客户可以按需付费，无需关心底层资源。此外，DTS还提供了数据校验的增值能力，帮助检验数据一致性，以免影响客户业务决策的准确性

DTS Serverless技术竞争力：

实验步骤：

说明：如您已经在DTS Serverless训练营中完成报名、开通DTS“省钱计划”体验包、购买RDS SQL Server云盘等操作，可直接跳转至第3步进行免费试用的资源申请。

1、申请并通过DTS Serverless使用权限

1. 点击【DTS Serverless功能测试申请表单】，填写基本信息后点击提交获取DTS Serverless功能测试资格。
   

说明：如果已经在训练营完成报名，则不需要再申请该表单。

2. 点击【 DTS Serverless节省计划】，按照下图步骤领取DTS Serverless节省计划。
   

说明：该体验包有效期为3天，购买后请您及时使用，节省计划搭配DTS后付费使用（Serverless、按量实例、按量计费项），预付或消费一定的金额，换取较低折扣。节省计划包最高可以抵扣91元的DTS Serverless实例消费，实验过后请您及时释放DTS资源， 否则会产生额外扣费。

2、完成购买云数据库RDS SQL Server版（源数据库）

1. 点击【RDS SQL Server版ESSD PL1 云盘】，并按照下图几个步骤购买RDS SQL Server版云盘。
   

说明：请全部按照默认配置，请勿重新选择其他规格。

1. 点击下一步：实例配置
   

2. 点击下一步：确认订单
   

3. 点击去支付
   

4. 开通成功后，将出现如下页面。
   

3、开通云原生数据仓库AnalyticDB PostgreSQL免费试用版本（目标数据库）

（1） 在【阿里云免费试用页面】，单击云原生数据仓库AnalyticDB PostgreSQL卡片中的立即试用。

（4）按照如图所示进行AnalyticDB PostgreSQL实例的设置

注意：

地域选择“华南1（深圳）”，可用区选择“华南1可用区F”

向量引擎优化选择“关闭（数仓推荐）”

若提示

则点击“阿里云VPC控制台“

进入如下界面，点击“创建专有网络”

按照如图设置完成后，点击“确定”：

完成创建后会提示创建成功：

再返回AnalyticDB PostgreSQL的立即试用设置页面进行设置

创建服务关联角色

勾选服务协议

4、源端RDS SQL Server实例创建账号和数据库

（1）完成购买RDS SQL Server实例后，点击实例ID进入实例详情

（2）点击“账号管理”，进入页面后点击“创建账号”，并设置相关账号信息。

点击“确定”即可生成如下结果：

（3）点击“数据库管理”，进入页面后点击“创建数据库”，并设置相关数据库信息：

点击“创建”即可生成如下结果：

5、在源端RDS SQL Server实例的dtstest数据库中插入表结构和数据

（1）在RDS SQL Server实例的详情页点击“登录数据库”进入数据管理DMS的控制台

（2）点击“新增实例”，新增RDS SQL Server实例至DMS控制台：

数据来源设置如下：

基本信息设置如下：

点击“测试连接”，若显示连接成功，则点击“提交”

（3）创建表结构

双击“dtstest”，进入RDS SQL Server实例的dtstest数据库的SQLConsole

在SQLConsole中输入如下代码：

CREATE TABLE dbo.nation (
    id INT PRIMARY KEY NOT NULL,
    n_nationkey INT NOT NULL,
    n_name CHAR(25) NOT NULL,
    n_regionkey INT NOT NULL,
    n_comment VARCHAR(152)
);
CREATE TABLE dbo.region (
    id INT PRIMARY KEY NOT NULL,
    r_regionkey INT NOT NULL,
    r_name CHAR(25) NOT NULL,
    r_comment VARCHAR(152)
);
CREATE TABLE dbo.part (
    id INT PRIMARY KEY NOT NULL,
    p_partkey INT NOT NULL,
    p_name VARCHAR(55) NOT NULL,
    p_mfgr CHAR(25) NOT NULL,
    p_brand CHAR(10) NOT NULL,
    p_type VARCHAR(25) NOT NULL,
    p_size INT NOT NULL,
    p_container CHAR(10) NOT NULL,
    p_retailprice NUMERIC(10, 2) NOT NULL,
    p_comment VARCHAR(23) NOT NULL
);
CREATE TABLE dbo.supplier (
    id INT PRIMARY KEY NOT NULL,
    s_suppkey INT NOT NULL,
    s_name CHAR(25) NOT NULL,
    s_address VARCHAR(40) NOT NULL,
    s_nationkey INT NOT NULL,
    s_phone CHAR(15) NOT NULL,
    s_acctbal NUMERIC(10, 2) NOT NULL,
    s_comment VARCHAR(101) NOT NULL
);
CREATE TABLE dbo.partsupp (
    id INT PRIMARY KEY NOT NULL,
    ps_partkey INT NOT NULL,
    ps_suppkey INT NOT NULL,
    ps_availqty INT NOT NULL,
    ps_supplycost NUMERIC(10, 2) NOT NULL,
    ps_comment VARCHAR(199) NOT NULL
);
CREATE TABLE dbo.customer (
    id INT PRIMARY KEY NOT NULL,
    c_custkey INT NOT NULL,
    c_name VARCHAR(25) NOT NULL,
    c_address VARCHAR(40) NOT NULL,
    c_nationkey INT NOT NULL,
    c_phone CHAR(15) NOT NULL,
    c_acctbal NUMERIC(10, 2) NOT NULL,
    c_mktsegment CHAR(10) NOT NULL,
    c_comment VARCHAR(117) NOT NULL
);
CREATE TABLE dbo.orders (
    id INT PRIMARY KEY NOT NULL,
    o_orderkey BIGINT NOT NULL,
    o_custkey INT NOT NULL,
    o_orderstatus CHAR(1) NOT NULL,
    o_totalprice NUMERIC(10, 2) NOT NULL,
    o_orderdate DATE NOT NULL,
    o_orderpriority CHAR(15) NOT NULL,
    o_clerk CHAR(15) NOT NULL,
    o_shippriority INT NOT NULL,
    o_comment VARCHAR(79) NOT NULL
);
CREATE TABLE dbo.lineitem (
    id INT PRIMARY KEY NOT NULL,
    l_orderkey BIGINT NOT NULL,
    l_partkey INT NOT NULL,
    l_suppkey INT NOT NULL,
    l_linenumber INT NOT NULL,
    l_quantity NUMERIC(10, 2) NOT NULL,
    l_extendedprice NUMERIC(10, 2) NOT NULL,
    l_discount NUMERIC(10, 2) NOT NULL,
    l_tax NUMERIC(10, 2) NOT NULL,
    l_returnflag CHAR(1) NOT NULL,
    l_linestatus CHAR(1) NOT NULL,
    l_shipdate DATE NOT NULL,
    l_commitdate DATE NOT NULL,
    l_receiptdate DATE NOT NULL,
    l_shipinstruct CHAR(25) NOT NULL,
    l_shipmode CHAR(10) NOT NULL,
    l_comment VARCHAR(44) NOT NULL
);

点击“执行”

点击“直接执行”

执行成功后，点击刷新按钮

（4）在下列表中导入数据

首先下载数据文件并解压

以customer表为例，导入数据操作过程如下：

右键点击表后customer，点击导入

进行如下设置

点击“提交审批”后，点击“执行变更”

点击“确定执行”

其余表导入数据的流程与customer表一致，⚠️注意lineitem表上传文件为dts_lineitem_batch1.csv

6、目标端AnalyticDB PostgreSQL实例创建账号

（1）完成开通云原生数据仓库AnalyticDB PostgreSQL免费试用版本后，点击实例ID进入实例详情页

（2）点击“账号管理”，进入页面后点击“创建初始账号”

设置账号信息：

点击“确定”即可生成如下结果：

7、在目标端AnalyticDB PostgreSQL实例中创建目标数据库

（1）新增RDS SQL Server实例至DMS控制台：

点击“新增实例”

数据来源设置如下：

基本信息设置如下：

点击“测试连接”，若显示连接成功，则点击“提交”

（2）右键单击AnalyticDB PostgreSQL实例，点击“数据库管理”

点击创建库：

进行数据库信息设置：

8、在DTS控制台上创建Serverless同步任务

（1）点击进入“数据同步”页面，地域选择“华南1（深圳）”，点击“创建任务”

（2）按照下图设置配置源库及目标库信息

（3）按照下图设置配置任务对象及高级配置

（4）建议勾选全量校验和增量校验功能，帮助校验源库和目标库的数据一致性，及时发现目标库数据出现的异常并修复，以免因为数据准确性影响业务决策。进一步了解数据校验

全量校验的HASH校验和增量校验为增值付费功能，收费标准参考文档

（5）按照下图设置配置库表字段

（6）进行同步链路预检查

（7）购买Serverless同步链路

（8）等待大约10分钟，可观测到如下结果

9、插入增量数据到RDS SQLServer实例

按照第5（4）步，在DMS控制台上将lineitem表中导入dts_lineitem_batch2.csv数据文件，导入后DTS将会自动进行增量同步

10、观测DTS Serverless同步任务效果和数据校验结果

（1）返回DTS控制台，点击刚刚创建的全量同步任务的“任务详情”

（2）观测DTS Serverless同步任务效果。可以观测到DTS serverless同步链路DU使用量随着目标库的RPS波动而随之变化，实现了按需自动弹性伸缩链路规格，用户可以按需付费，无需关心底层资源

（3）点击“任务管理”，查看全量校验和增量校验的结果

11、查看DTS节省计划费用抵扣情况

点击【阿里云用户中心节省计划】

说明：节省计划抵扣费用T+1出账，即当天实验完成后第二天可以看到费用抵扣情况。

12、温馨提示：完成实验后，请释放资源，以免欠费

（1）释放DTS Serverless实例