DTS任务为什么一直处于"修改同步对象中"

简介: DTS任务为什么一直处于"修改同步对象中"

一、DTS数据新增同步对象原理


      流程分析
            13:00主任务同步对象为表a,b;

            14:00进行修改同步对象表c;  发起修改同步对象后,DTS会创建一个子任务(子任务运行模块和主任务相同)去运行新增的c表;


            17:00子任务增量写入模块无延迟,主任务也没有延迟,那么子任务会和主任务进行合并(合并完成后主任务的同步对象就从 a,b 变更成a,b,c)

            总结:14:00~17:00分,这个任务在控制台状态就会显示“修改同步对象中”.


二、案例

1.查看DTS控制台任务状态,  


2.点进任务里面查看详情,查看主任务增量写入模块是否无延迟(增量写入延迟低于5秒)

i、如果“增量写入模块”存在延迟,那么子任务(新增表产生的任务)是不会合并,任务状态就会处于“修改同步对象中”,需要修复下“增量写入”模块的延迟。

如果目标库是MySQL,PG等关系型数据库,可以开启这两个参数来加快追平任务延迟(提交参数后需要点击重启任务),需要重启才能正常生效,都改为"true" ;


ii、如果增量写入没有延迟,点击左侧菜单栏“同步对象修改记录”中, 查看修改同步对象产生的任务列表是否有异常


如此案例,任务异常 “同步初始化失败”,点击查看原因


如截图,超时类报错,可以尝试重启修复。其他报错,需要具体分析处理


iii、任务无异常,同步初始化中

点击“查看初始化”

  点击“结构同步详情”,“全量同步详情”,查看任务运行状态

如果任务运行状态无异常,结构,全量也无异常,那么可以判断任务是正常的;



任务正常为什么还会“修改同步对象中”?可能的原因有:
1. 子任务表中的数据量较大,全量时间较长,那么增量延迟就会比较大,追平位点需要点时间。

2.子任务正常合并也是需要一点时间,需要等待下。

3.DTS控制台不是实时刷新的,需要您刷新下控制台页面查看任务状态是否已经恢复正常了。

相关文章
|
7月前
|
存储 SQL NoSQL
数据传输DTS同步问题之同步失败如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
|
18天前
|
存储 数据采集 监控
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
113 9
|
3月前
|
NoSQL 安全 容灾
阿里云DTS踩坑经验分享系列|Redis迁移、同步
阿里云数据传输服务DTS在帮助用户迁移Redis数据、同步数据时,在某些复杂场景下会出现报错,或者源库与目标库数据不一致的问题,给用户带来困扰。本文介绍了DTS Redis到Redis迁移、同步过程中的典型问题,以帮助用户更好地使用DTS。
249 2
|
6月前
|
关系型数据库 MySQL 分布式数据库
PolarDB操作报错合集之当使用DTS(数据传输服务)同步的表在目标库中进行LEFT JOIN查询时遇到异常,是什么导致的
在使用阿里云的PolarDB(包括PolarDB-X)时,用户可能会遇到各种操作报错。下面汇总了一些常见的报错情况及其可能的原因和解决办法:1.安装PolarDB-X报错、2.PolarDB安装后无法连接、3.PolarDB-X 使用rpm安装启动卡顿、4.PolarDB执行UPDATE/INSERT报错、5.DDL操作提示“Lock conflict”、6.数据集成时联通PolarDB报错、7.编译DN报错(RockyLinux)、8.CheckStorage报错(源数据库实例被删除)、9.嵌套事务错误(TDDL-4604)。
|
7月前
|
消息中间件 关系型数据库 Kafka
实时计算 Flink版产品使用合集之使用DTS从RDSMySQL数据库同步数据到云Kafka,增量同步数据延迟时间超过1秒。如何诊断问题并降低延迟
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7月前
|
缓存 关系型数据库 数据库
如果数据传输服务DTS(Data Transmission Service)的数据订阅任务突然失败了
【2月更文挑战第29天】如果数据传输服务DTS(Data Transmission Service)的数据订阅任务突然失败了
55 3
|
7月前
|
监控 分布式数据库 API
数据传输DTS同步问题之遇到错误如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
|
7月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
7月前
|
SQL 分布式计算 监控
在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
【2月更文挑战第32天】在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
75 6
|
7月前
DTS数据传输延迟可能有多种原因
【1月更文挑战第16天】【1月更文挑战第79篇】DTS数据传输延迟可能有多种原因
300 2