DTS任务卡住问题(续集)

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介:
  • 接力上节

上篇文章参考:https://yq.aliyun.com/articles/749360?spm=a2c4e.11155435.0.0.1df03312nyZXw1

  • 治疗方案无效

根据上述连接解决方案,确实是可以解决常规的一些卡住问题,并且在当时调整以后确实任务也可以完整跑完成功;
但是再一次进行完整迁移测试还是出现了卡住的情况发生,查看数据迁移情况发现还是相同的表在相同的位置;
image
但是经过排查max_allowed_packet参数还是2G的大小设置,虽然dts后端可以通过调整batch来绕过这个问题,但是还是需要确认是什么大记录数据导致的该问题;
经过抓包发现,有一条大记录在通过dts同步到drds上的时候,drds解析失败报错;
image
怀疑是这条sql的记录被截断导致parse failed入库失败,导致dts任务卡住;
经过和客户应用同学沟通,客户反馈有这样的一条数据记录异常过大;
image
而通过dts同步到目标drds的最大只有4411305
image

  • 拔毒疗伤

客户反馈这条数据是有问题的,可以删除掉,故而删除以后重启dts任务正常迁移完成,问题解决;
image
究其原因,客户反馈是大促活动会有很多1-2元的促销券,每次都会有10000多张,所以对应的字段就会很大;所以对于目前现有的主表增量,还是无法控制出现大的报文存在;
image

  • 经验总结

对于如上出现的存在大字段text,blob的log表,在创建dts任务的时候,如果出现卡住的情况发生,可以通过调整max_allowed_packet参数,调整batch降低单次提交写入数据并重启任务,减少写入数据大小解决由于记录内容过大导致在drds层出现parse failed,导致数据写入失败的情况发生;还有就是如果存在有异常的大字段可以考虑规避,比如删除或者备份等;

相关实践学习
快速体验PolarDB开源数据库
本实验环境已内置PostgreSQL数据库以及PolarDB开源数据库:PolarDB PostgreSQL版和PolarDB分布式版,支持一键拉起使用,方便各位开发者学习使用。
目录
相关文章
|
7月前
|
缓存 关系型数据库 数据库
如果数据传输服务DTS(Data Transmission Service)的数据订阅任务突然失败了
【2月更文挑战第29天】如果数据传输服务DTS(Data Transmission Service)的数据订阅任务突然失败了
55 3
|
7月前
|
缓存
如果数据传输服务DTS(Data Transmission Service)的数据订阅任务突然失败
如果数据传输服务DTS(Data Transmission Service)的数据订阅任务突然失败
64 1
|
DataWorks 关系型数据库 MySQL
DataWorks可以通过数据同步任务(DTS)实现OceanBase和其他数据库之间的实时数据同步
DataWorks可以通过数据同步任务(DTS)实现OceanBase和其他数据库之间的实时数据同步
247 2
|
DataWorks 关系型数据库 MySQL
可以使用DataWorks的数据同步任务(DTS)来实现实时同步
可以使用DataWorks的数据同步任务(DTS)来实现实时同步
490 2
|
关系型数据库 MySQL
DTS任务为什么一直处于"修改同步对象中"
DTS任务为什么一直处于"修改同步对象中"
|
关系型数据库 分布式数据库 RDS
|
数据库
DTS开发记录(9)-- 数据迁移任务 DataTask
在DTS开发记录(1)--系统总体结构 一文中,我们已经看到,一次数据传递任务基于一个连接对和一个数据映射进行。但是之前,我们并没有提到“数据迁移任务”这个元素。随着设计的演化,我们发现一个数据任务已经不再仅仅是一个连接对加上一个数据映射了。
1046 0
|
7月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
7月前
|
SQL 分布式计算 监控
在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
【2月更文挑战第32天】在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
75 6
|
24天前
|
弹性计算 安全 容灾
阿里云DTS踩坑经验分享系列|使用VPC数据通道解决网络冲突问题
阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。本文介绍如何使用VPC数据通道解决网络冲突问题。
80 0