基于DTS Serverless构建一站式实时数据集成服务-阿里云开发者社区

基于DTS Serverless构建一站式实时数据集成服务

2024-01-17 50564

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

数据传输服务 DTS，同步至DuckDB 3个月

简介： 在企业的数字化转型背景下，企业需要数据中台数据实时集成，提升数据分析的时效性。DTS推出了从数据库将业务数据实时同步到数据仓库的解决方案，帮助客户挖掘商机，调整商业策略。同时，为了解决在客户业务负载多变的情况下灵活稳定支持数据传输的问题，DTS推出了Serverless版本，支持按需自动弹性伸缩链路规格，客户可以按需付费，无需关心底层资源。此外，DTS还提供了数据校验的增值能力，帮助检验数据一致性，以免影响客户业务决策的准确性

背景

在企业的数字化转型背景下，企业需要数据中台数据实时集成，提升数据分析的时效性。DTS推出了从数据库将业务数据实时同步到数据仓库的解决方案，帮助客户挖掘商机，调整商业策略。同时，为了解决在客户业务负载多变的情况下灵活稳定支持数据传输的问题，DTS推出了Serverless版本，支持按需自动弹性伸缩链路规格，客户可以按需付费，无需关心底层资源。此外，DTS还提供了数据校验的增值能力，帮助检验数据一致性，以免影响客户业务决策的准确性

DTS Serverless技术竞争力：

实验步骤：

说明：如您已经在DTS Serverless训练营中完成报名、开通DTS“省钱计划”体验包、购买RDS SQL Server云盘等操作，可直接跳转至第3步进行免费试用的资源申请。

1、申请并通过DTS Serverless使用权限

点击【DTS Serverless功能测试申请表单】，填写基本信息后点击提交获取DTS Serverless功能测试资格。

说明：如果已经在训练营完成报名，则不需要再申请该表单。

点击【 DTS Serverless节省计划】，按照下图步骤领取DTS Serverless节省计划。

说明：该体验包有效期为3天，购买后请您及时使用，节省计划搭配DTS后付费使用（Serverless、按量实例、按量计费项），预付或消费一定的金额，换取较低折扣。节省计划包最高可以抵扣91元的DTS Serverless实例消费，实验过后请您及时释放DTS资源，否则会产生额外扣费。

2、完成购买云数据库RDS SQL Server版（源数据库）

点击【RDS SQL Server版ESSD PL1 云盘】，并按照下图几个步骤购买RDS SQL Server版云盘。

说明：请全部按照默认配置，请勿重新选择其他规格。

点击下一步：实例配置

点击下一步：确认订单

点击去支付

开通成功后，将出现如下页面。

3、开通云原生数据仓库AnalyticDB PostgreSQL免费试用版本（目标数据库）

（1）在【阿里云免费试用页面】，单击云原生数据仓库AnalyticDB PostgreSQL卡片中的立即试用。

（4）按照如图所示进行AnalyticDB PostgreSQL实例的设置

注意：

地域选择“华南1（深圳）”，可用区选择“华南1可用区F”

向量引擎优化选择“关闭（数仓推荐）”

若提示

则点击“阿里云VPC控制台“

进入如下界面，点击“创建专有网络”

按照如图设置完成后，点击“确定”：

完成创建后会提示创建成功：

再返回AnalyticDB PostgreSQL的立即试用设置页面进行设置

创建服务关联角色

勾选服务协议

4、源端RDS SQL Server实例创建账号和数据库

（1）完成购买RDS SQL Server实例后，点击实例ID进入实例详情

（2）点击“账号管理”，进入页面后点击“创建账号”，并设置相关账号信息。

点击“确定”即可生成如下结果：

（3）点击“数据库管理”，进入页面后点击“创建数据库”，并设置相关数据库信息：

点击“创建”即可生成如下结果：

5、在源端RDS SQL Server实例的dtstest数据库中插入表结构和数据

（1）在RDS SQL Server实例的详情页点击“登录数据库”进入数据管理DMS的控制台

（2）点击“新增实例”，新增RDS SQL Server实例至DMS控制台：

数据来源设置如下：

基本信息设置如下：

点击“测试连接”，若显示连接成功，则点击“提交”

（3）创建表结构

双击“dtstest”，进入RDS SQL Server实例的dtstest数据库的SQLConsole

在SQLConsole中输入如下代码：

CREATE TABLE dbo.nation (
    id INT PRIMARY KEY NOT NULL,
    n_nationkey INT NOT NULL,
    n_name CHAR(25) NOT NULL,
    n_regionkey INT NOT NULL,
    n_comment VARCHAR(152)
);
CREATE TABLE dbo.region (
    id INT PRIMARY KEY NOT NULL,
    r_regionkey INT NOT NULL,
    r_name CHAR(25) NOT NULL,
    r_comment VARCHAR(152)
);
CREATE TABLE dbo.part (
    id INT PRIMARY KEY NOT NULL,
    p_partkey INT NOT NULL,
    p_name VARCHAR(55) NOT NULL,
    p_mfgr CHAR(25) NOT NULL,
    p_brand CHAR(10) NOT NULL,
    p_type VARCHAR(25) NOT NULL,
    p_size INT NOT NULL,
    p_container CHAR(10) NOT NULL,
    p_retailprice NUMERIC(10, 2) NOT NULL,
    p_comment VARCHAR(23) NOT NULL
);
CREATE TABLE dbo.supplier (
    id INT PRIMARY KEY NOT NULL,
    s_suppkey INT NOT NULL,
    s_name CHAR(25) NOT NULL,
    s_address VARCHAR(40) NOT NULL,
    s_nationkey INT NOT NULL,
    s_phone CHAR(15) NOT NULL,
    s_acctbal NUMERIC(10, 2) NOT NULL,
    s_comment VARCHAR(101) NOT NULL
);
CREATE TABLE dbo.partsupp (
    id INT PRIMARY KEY NOT NULL,
    ps_partkey INT NOT NULL,
    ps_suppkey INT NOT NULL,
    ps_availqty INT NOT NULL,
    ps_supplycost NUMERIC(10, 2) NOT NULL,
    ps_comment VARCHAR(199) NOT NULL
);
CREATE TABLE dbo.customer (
    id INT PRIMARY KEY NOT NULL,
    c_custkey INT NOT NULL,
    c_name VARCHAR(25) NOT NULL,
    c_address VARCHAR(40) NOT NULL,
    c_nationkey INT NOT NULL,
    c_phone CHAR(15) NOT NULL,
    c_acctbal NUMERIC(10, 2) NOT NULL,
    c_mktsegment CHAR(10) NOT NULL,
    c_comment VARCHAR(117) NOT NULL
);
CREATE TABLE dbo.orders (
    id INT PRIMARY KEY NOT NULL,
    o_orderkey BIGINT NOT NULL,
    o_custkey INT NOT NULL,
    o_orderstatus CHAR(1) NOT NULL,
    o_totalprice NUMERIC(10, 2) NOT NULL,
    o_orderdate DATE NOT NULL,
    o_orderpriority CHAR(15) NOT NULL,
    o_clerk CHAR(15) NOT NULL,
    o_shippriority INT NOT NULL,
    o_comment VARCHAR(79) NOT NULL
);
CREATE TABLE dbo.lineitem (
    id INT PRIMARY KEY NOT NULL,
    l_orderkey BIGINT NOT NULL,
    l_partkey INT NOT NULL,
    l_suppkey INT NOT NULL,
    l_linenumber INT NOT NULL,
    l_quantity NUMERIC(10, 2) NOT NULL,
    l_extendedprice NUMERIC(10, 2) NOT NULL,
    l_discount NUMERIC(10, 2) NOT NULL,
    l_tax NUMERIC(10, 2) NOT NULL,
    l_returnflag CHAR(1) NOT NULL,
    l_linestatus CHAR(1) NOT NULL,
    l_shipdate DATE NOT NULL,
    l_commitdate DATE NOT NULL,
    l_receiptdate DATE NOT NULL,
    l_shipinstruct CHAR(25) NOT NULL,
    l_shipmode CHAR(10) NOT NULL,
    l_comment VARCHAR(44) NOT NULL
);