DTS 增量数据实时入湖是什么?-问答-阿里云开发者社区-阿里云

开发者社区> Lee_tianbai> 正文

DTS 增量数据实时入湖是什么?

来自:阿里云EMR 2021-01-07 16:17:21 389 1

DTS 增量数据实时入湖是什么?

取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-07 16:18:07

    DTS 是阿里云提供了高可靠的数据传输服务,支持不同类型数据库增量数据的订阅和 消费。我们实现了 DTS 实时订阅数据的入湖,支持用户已有订阅通道入湖和自动创建订阅 通道入湖两种方式,减少用户配置成本。

    image.png

    在技术上,支持增量数据对历史数据的 update、delete 变更操作,实现分钟级延迟的 数据变更感知能力。技术实现上在 Streaming SQL 中扩展了 merge into 语法来对接底 层文件格式 Delta Lake 的相关接口。

    MERGE INTO delta_tbl AS target
    USING (
    select recordType, pk, ...
    from {{binlog_parser_subquery}}
    ) AS source
    ON target.pk = source.pk
    WHEN MATCHED AND source.recordType='UPDATE' THEN
    UPDATE SET *
    WHEN MATCHED AND source.recordType='DELETE' THEN
    DELETE
    WHEN NOT MATCHED THEN
    INSERT *
    

    和传统数仓的 binlog 入仓相比,基于数据湖的方案具有更大的优势. 在传统数仓中, 为了实现数据库等变更数据的入仓,通常需要维护两张表,一张增量表用于存放每天新增的 数据库变更明细数据,另外一张全量表,存放历史所有的 merge 数据,全量表每天和增量 表更据主键做 merge 操作. 显然,基于数据湖方案在实现的简单性和时效性上都更优。

    0 0
相关问答

3

回答

怎样进钉钉2个群

游客6bdmn27yntop2 2020-03-12 13:30:20 3443浏览量 回答数 3

2

回答

阿里云云原生数据库是什么,有什么作用?

Lee_tianbai 2021-01-07 15:15:47 809浏览量 回答数 2

1

回答

如果开传奇,同时在线4-5个版本需要什么配置云服务器多少带宽

木茶 2020-10-09 20:01:18 982浏览量 回答数 1

2

回答

什么是数据湖?

Lee_tianbai 2021-01-07 15:17:49 700浏览量 回答数 2

1

回答

数据湖要解决的三大问题是什么?

Lee_tianbai 2021-01-07 16:35:06 779浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决元数据管理问题的?

Lee_tianbai 2021-01-07 16:36:21 1159浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决数据集成问题的?

Lee_tianbai 2021-01-07 16:37:07 814浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决数据开发问题的?

Lee_tianbai 2021-01-07 16:38:51 862浏览量 回答数 1

1

回答

为什么说数据湖是大数据和 AI 时代融合存储和计算的全新体系?

Lee_tianbai 2021-01-07 15:09:16 771浏览量 回答数 1

1

回答

常见的 CDC 方案实现之binlog 实时同步是什么?

Lee_tianbai 2021-01-07 16:25:07 705浏览量 回答数 1
+关注
0
文章
1008
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载