DataWorks百问百答05:数据同步任务出现脏数据怎么办?

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: DataWorks百问百答05:数据同步任务出现脏数据怎么办?

什么样的数据会判定为脏数据?

同步任务在任务运行过程中遇到插件的所有异常都会作为脏数据进行统计。

  • 数据类型转换(源端表和目的表字段类型不匹配,大概率)
  • 源端表数据过长
  • 数据源异常
  • Reader/Writer插件异常
  • 数据中有表情符

我该如何排查?

同步任务出现报错:脏数据条数检查不通过,限制是[0]条,但实际上捕获了[141]条。
image.png

【解决方法一】

增大脏数据限制条数,扩大阈值容忍脏数据(源端脏数据仍存在同步到目的端,日志显示脏数据记录,任务不会报错)。
image.png

【解决方法二】

根据运行日志定位源端脏数据修复后再同步。
image.png
将日志复制出来可快速定位,截取1条记录作为样例分析。本例情况就是源端第47个字段值"java"为String类型,而目的端对应写入字段为Long类型,需更改为匹配的类型。
image.png

【案例1】
只有utf8mb4编码支持同步表情符
例如:添加JDBC格式的数据源时,需要修改utf8mb4的设置,如jdbc:mysql://xxx.x.x.x:3306/database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。

【案例2】
同步任务脏数据报错 XXXX command denied to user ‘XXXX’
因为没有数据源权限造成的问题,联系对应DBA申请一下update、insert、delete权限。
其余Reader/Writer插件问题情况略。


DataWorks百问百答历史记录请点击查看

采购季限时!原价2500元现仅需99元,3分钟入门DataWorks标准版6大场景!点击查看

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
目录
相关文章
|
DataWorks DataX
请仔细检查DataX报告的脏数据日志信息,或者调整脏数据阈值。
请仔细检查DataX报告的脏数据日志信息,或者调整脏数据阈值。
2372 1
|
数据采集 SQL 存储
DataWorks数据质量介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》
数据质量问题虽然从数据工程师的角度来看是个简单问题,但是从业务的角度来看是个很严重的问题。所以数据质量是数据开发和治理全生命周期中,非常重要的一个环节。在DataWorks产品版图里,数据质量也是非常重要的模块之一。
4828 0
DataWorks数据质量介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》
|
11月前
|
搜索推荐 安全 数据挖掘
QuickBI行级权限:精细化数据访问控制,轻松实现千人千面
随着企业数据量的快速增长和应用场景的多样化,数据权限管理变得至关重要。QuickBI的行级权限功能通过条件组合授权和用户标签授权两种模式,实现了灵活、精细的数据权限控制。条件组合授权适用于多规则配合场景,如不同部门仅能看到自身产品线数据;用户标签授权则适合大规模个性化权限管理,如按地区限制数据可见性。该功能简化了配置步骤,提高了权限管理效率,确保数据安全合规且有效利用。
639 1
|
DataWorks NoSQL MongoDB
DataWorks产品使用合集之在同步任务中遇到脏数据时,是否会将脏数据插入到数据表中
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
Java 关系型数据库 MySQL
java.sql.SQLException: No operations allowed after statement closed.
java.sql.SQLException: No operations allowed after statement closed. 原因很简单:这里和数据库的连接Connection是一个Static的,程序共享这一个Connection。
18129 0
|
数据采集 监控 数据管理
数据质量最佳实践(4):支持范围和多级分区质量监控+按项目和个人管理数据质量【Dataphin V3.11】
在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在Dataphin V3.11版本中,质量新增了下面两个能力: 1、针对复杂的业务分区的校验能力 2、按照项目和个人管理数据质量
581 1
|
SQL 存储 分布式计算
ODPS SQL优化总结
ODPS(Open Data Processing Service)是一个海量数据处理平台,基于阿里巴巴自主研发的分布式操作系统(飞天)开发,是公司云计算整体解决方案中最核心的主力产品之一。本文结合作者多年的数仓开发经验,结合ODPS平台分享数据仓库中的SQL优化经验。
3733 0
ODPS SQL优化总结
|
SQL 分布式计算 资源调度
阿里云-DataWorks- ODPS SQL开发4-SQL性能优化
阿里云-DataWorks- ODPS SQL开发4-SQL性能优化
|
SQL 测试技术 DataX
DataX数据同步无响应
解决Datax同步Starrocks长时间之后无响应问题
|
数据采集 运维 Kubernetes
【最佳实践】使用CloudLens排查iLogtail重启问题
本文主要介绍如何使用CloudLens for SLS定位和解决iLogtail日常使用中的常见问题之一:iLogtail异常重启问题。
1408 0
【最佳实践】使用CloudLens排查iLogtail重启问题

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks