阿里云DTS作为数据世界高速传输通道的建造者，每周为您分享一个避坑技巧，助力数据之旅更加快捷、便利、安全。

作者：柚梧

一、导读

作为强大的日志服务引擎，SLS 积累了用户海量的数据。为了实现数据的自由流通，DTS 开发了以 SLS 为源的数据同步插件。目前，该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路，客户不仅能够利用 SLS 卓越的数据采集和处理能力，还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势，帮助企业显著提高数据查询速度，同时有效降低存储成本，从而在数据驱动决策和资源优化配置上取得更大成效。

二、SLS 链路能力介绍

1. 链路实现介绍

对于源端每一个 shard，我们会为它建立一条独立的数据通道，将指定时间开始的数据拉到 DTS 的 recordStore 里持久化保存。recordStore 中的所有数据会通过矩阵计算后写入到各自对应目标端的表中（注意，shard 不对应表，SLS 的 Topic 才对应目标端的表）。

2. 链路能力界限

3. 映射关系

3.1 库表信息映射

SLS 为日志服务，同步到 ClickHouse 这样的数仓，需要有一定的库表映射关系，如下表所示。其中，目标端字段为指定字段，DTS 只会同步指定字段的值，指定字段的数据类型映射参考 2.2 数据类型映射

3.2 数据类型映射

3.3 数据同步/迁移

在配置任务时，支持选择指定时间开始消费，需确保源端 SLS 在指定时间存有对应数据（如因数据过期被 SLS 清理，则链路配置会失败或从保存最早的数据开始消费）。

SLS 链路只有"增量模块"，可通过控制台查看延迟情况来判断数据消费位置，以此来判断是否消费到最新数据。

三、常见问题解答

1. 为什么需要关闭 Shard 的自动分裂/合并功能？

目前 DTS 侧还不支持 shard 分裂和合并的链路功能，如果不关闭此功能，那么新生产的 shard 将无法被 DTS 消费，导致目标端数据丢失。

2. 配置同步对象时 Topic 和目标端的表应该如何配置。

SLS 中每一个 Logstore 的 Topic 对应目标端中的每一个表。如果需要同步指定 Topic，需要在配置界面中新增表，表名为需要同步的 Topic，目标端表名为该 Topic 同步到目标端对应的表。如果不需要指定 Topic，则将表名写为 .*（正则表达式），DTS 会同步所有 Topic 到目标端的指定表（这种情况下不允许再新增表，否则可能会导致数据丢失）。

3. SLS 是日志服务，如何在数据上和 ClickHouse 对应。

DTS 支持将 SLS 中的索引同步到 Clickhouse 的字段，您需要在源端正确地建立索引，同时注意数据类型，确保该索引对应的数据类型能够全部正确地对应到 Clickhouse 中字段的类型，否则会导致数据转换失败，任务中断。

4. 链路失败、暂停后重启会有数据丢失和数据重复吗？
   

该链路目前能做到 Exactly Once，重启后会自动过滤掉已经同步的数据；同时，只要源端的数据还在生命周期内，就不会丢失数据。

四、快来关注

1. 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库、NoSQL、大数据（OLAP）等数据源，集数据迁移、订阅、实时同步、校验功能于一体，能够解决公共云、混合云场景下，远距离、秒级异步数据传输难题。其底层基础设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳定运行7年之久，是一款沉淀了丰富实践经验的可靠产品。点击了解更多DTS相关信息
   
2. 详细操作步骤可参考：如何将数据从SLS同步至ClickHouse集群
   
3. 欢迎加入钉群讨论交流：