DataWorks百问百答05:数据同步任务出现脏数据怎么办?

简介: DataWorks百问百答05:数据同步任务出现脏数据怎么办?

什么样的数据会判定为脏数据?

同步任务在任务运行过程中遇到插件的所有异常都会作为脏数据进行统计。

  • 数据类型转换(源端表和目的表字段类型不匹配,大概率)
  • 源端表数据过长
  • 数据源异常
  • Reader/Writer插件异常
  • 数据中有表情符

我该如何排查?

同步任务出现报错:脏数据条数检查不通过,限制是[0]条,但实际上捕获了[141]条。
image.png

【解决方法一】

增大脏数据限制条数,扩大阈值,容忍脏数据(源端脏数据仍存在,不同步到目的端,日志会显示脏数据记录,任务不会报错)。
image.png

【解决方法二】

根据运行日志定位源端脏数据,修复后再同步。
image.png
将日志复制出来可快速定位,截取1条记录作为样例分析。本例情况就是源端第47个字段值"java"为String类型,而目的端对应写入字段为Long类型,需更改为匹配的类型。
image.png

【案例1】
只有utf8mb4编码支持同步表情符。
例如:添加JDBC格式的数据源时,需要修改utf8mb4的设置,如jdbc:mysql://xxx.x.x.x:3306/database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。

【案例2】
同步任务脏数据报错 XXXX command denied to user ‘XXXX’
因为没有数据源权限造成的问题,联系对应DBA申请一下update、insert、delete权限。
其余Reader/Writer插件问题情况略。


DataWorks百问百答历史记录请点击查看

采购季限时!原价2500元现仅需99元,3分钟入门DataWorks标准版6大场景!点击查看

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
目录
相关文章
|
DataWorks DataX
请仔细检查DataX报告的脏数据日志信息,或者调整脏数据阈值。
请仔细检查DataX报告的脏数据日志信息,或者调整脏数据阈值。
3072 1
|
弹性计算 负载均衡 算法
云:SLB介绍
指标及功能
805 0
|
SQL 消息中间件 分布式计算
12中方法,彻底搞定数据倾斜!
12中方法,彻底搞定数据倾斜!
|
数据可视化 应用服务中间件 数据安全/隐私保护
轻量应用服务器部署k3s,并搭建可视化高性能网关 apisix
k3s低资源占用集群,apisix 可视化高性能网关。小白教程
2698 0
|
2月前
|
人工智能 运维 自然语言处理
阿里云Qoder产品,四大子产品核心对比指南,帮你精准匹配个人与团队使用场景
阿里云Qoder系列前身为“通义灵码”,目前已完成品牌升级,全链路国内部署适配高合规行业需求,形成由Qoder CN、QoderWork CN、Qoder CN CLI、QoderWake CN四大核心子产品组成的完整矩阵,覆盖专业编码、日常办公、终端运维、企业自动化四大场景。本文从产品特性、适用场景、横向选型指南及9月限时加赠、夜间错峰折扣等最新活动为大家全面拆解,帮助用户快速匹配适配自身需求的产品方案。
|
10月前
|
存储 SQL 人工智能
数据语义层 vs 宽表模式:哪种架构更适合 AI 时代的数据分析?
用户零等待指标交付,逻辑变更分钟级生效,无需 ETL;100%一致口径,所有人与 AI 通过同一语义层访问数据;无缝对接 AI,语义层为 AI 提供标准化查询 API。
|
存储 分布式计算 监控
大数据数据倾斜处理
【11月更文挑战第4天】
1241 7
|
SQL 存储 分布式计算
我在淘宝写SQL|ODPS SQL 优化总结
本文结合作者多年的数仓开发经验,结合ODPS平台分享数据仓库中的SQL优化经验。
|
负载均衡 应用服务中间件 Linux
在Linux中,常用的 Nginx 模块有哪些,常来做什么?
在Linux中,常用的 Nginx 模块有哪些,常来做什么?
|
SQL 存储 消息中间件
芒果 TV 基于 Flink 的实时数仓建设实践
基于 Flink 技术的特点,芒果 TV 在未来的数仓建设中将注重实现湖仓一体的架构,以实现对数据的全面管理和利用。
18485 35
芒果 TV 基于 Flink 的实时数仓建设实践

相关产品

  • 大数据开发治理平台 DataWorks