DTS-073102 获取增量数据失败

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:    DTS实现增量迁移/同步的基本原理是对源库的增量数据抽取和增量数据同步是两个独立的进程,而抽取的增量数据保存在一个高可用的存储系统中.当增量迁移/同步进程无法获取指定时间点的增量数据时就会出现该错误.
   DTS实现增量迁移/同步的基本原理是对源库的增量数据抽取和增量数据同步是两个独立的进程,而抽取的增量数据保存在一个高可用的存储系统中(该系统最多只保存最近一周抽取的增量数据).当增量迁移/同步进程无法获取指定时间点的增量数据时就会出现该错误.当全量迁移时间太长或者任务暂停时间过长时,很有可能就会出现该错误.

一.错误列表


DTS-073102: Record Crawler error, cause by [com.alibaba.drc.biz.route.RoutingException: Found no feasible stores for name [aliyun_hz_ecs_EE502976FC1644C3-1-0] and checkpoint [::::1517922493:], data range available: from [100.100.64.1:8404:1303:103253:1519572109:3726658] to [100.100.64.1:8404:1319:9370:1519909026:4122410]]
          原因1: 任务暂停时间过长,增量数据已经被清理了.
          解决方案: 删除该任务再重建.

          原因2: 源库一直没有写入操作.
          解决方案: 在源库中执行一些写入操作(主要目的是产生WAL日志),然后点击 重新启动.

          原因3: 源库连接不上,导致日志抽取进程无法正常抽取增量数据.
          解决方案: 删除该任务再重建.

          原因4: 源库的日志文件不在了,导致日志抽取进程无法正常抽取增量数据.
          解决方案: 删除该任务再重建.

          原因5: 全量迁移数据消耗时间太长,增量数据已经被清理了.
          解决方案: 删除该任务再重建.


DTS-073102: Record Crawler error, cause by [0:java.lang.Exception: get valid topic [aliyun_sh_rm_uf6p59cfmuh5e25ri-1-0] failed].
          原因: RDS实例被释放了,增量抽取进程自动退出并清理所有数据.
          解决方案: 删除该任务再重建.


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
4月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
4月前
|
SQL 分布式计算 监控
在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
【2月更文挑战第32天】在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
49 6
|
1月前
|
NoSQL MongoDB 数据库
DTS 的惊天挑战:迁移海量 MongoDB 数据时,捍卫数据准确完整的生死之战!
【8月更文挑战第7天】在数字化时代,大数据量的MongoDB迁移至关重要。DTS(数据传输服务)通过全面的数据评估、可靠的传输机制(如事务保证一致性)、异常处理(如回滚或重试),以及迁移后的数据校验来确保数据准确无损。DTS还处理数据转换与映射,即使面对不同数据库结构也能保持数据完整性,为企业提供可靠的数据迁移解决方案。
32 2
|
3月前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用问题之dts是否支持传输数据到mc主键表2.0
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3月前
|
存储 数据采集 NoSQL
DTS在迁移大数据量的MongoDB数据库时如何保证数据的准确性和完整性?
【6月更文挑战第4天】DTS在迁移大数据量的MongoDB数据库时如何保证数据的准确性和完整性?
122 1
|
3月前
|
NoSQL 关系型数据库 MongoDB
DTS支持哪些非关系型数据库的数据交互?
【6月更文挑战第4天】DTS支持哪些非关系型数据库的数据交互?
41 1
|
4月前
|
SQL 运维 关系型数据库
阿里云DTS踩坑经验分享系列|数据不一致修复大法
阿里云数据传输服务DTS在帮助用户迁移数据、同步数据时,在某些复杂场景下会出现源库与目标库数据不一致的问题,造成数据错误,给用户带来困扰。由于数据不一致的问题很难完全避免,为了及时修复不一致的数据,DTS产品推出数据订正功能,保障用户在同步\迁移数据时的数据一致性。本文介绍了产生数据不一致的一些典型场景,并重点阐述了如何使用DTS数据订正功能来修复不一致的数据。
458 4
|
4月前
|
消息中间件 关系型数据库 Kafka
实时计算 Flink版产品使用合集之使用DTS从RDSMySQL数据库同步数据到云Kafka,增量同步数据延迟时间超过1秒。如何诊断问题并降低延迟
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
存储 Java 关系型数据库
数据传输DTS数据问题之数据写入异常如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
数据传输DTS数据问题之数据写入异常如何解决
|
4月前
|
关系型数据库 MySQL OLAP
数据传输DTS写入问题之无法获取数据如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。

热门文章

最新文章