DataWorks脏数据篇是什么？

数据质量帮助您及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，阻断脏数据向下游蔓延。避免任务产出问题数据，影响正常使用和业务决策。本文示例配置表数据质量监控规则，保障产出的表数据符合预期，为您介绍数据质量的基本使用。https://help.aliyun.com/zh/dataworks/user-guide/getting-started-with-data-quality?spm=a2c4g.11186623.0.i5

脏数据通常指在数据同步、迁移等操作过程中，由于各种原因产生的对业务没有意义、格式非法或者同步出错的数据。例如，如果在写入目标数据源的过程中发生异常，那么该条数据就会被视为脏数据。

在DataWorks中，脏数据问题可能出现的原因有多种。一种常见的情况是源端的字段类型和目的端的字段类型不匹配，比如源端第47个字段值为"java"的String类型，而目的端对应的写入字段为Long类型，这种情况下就可能出现脏数据。

DataWorks脏数据篇主要讨论的是在数据集成过程中，源端数据与目标端数据的不一致或不符合预期的数据，即脏数据。脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。例如，单条数据写入目标数据源过程中发生了异常，则此条数据就被归类为脏数据。

对于脏数据问题，您有以下几种处理方式：

1. 控制脏数据产生：您可以在同步任务配置时通过错误记录数控制（脏数据控制）来控制同步过程中是否允许脏数据产生。此外，还支持设置脏数据条数的阈值。当脏数据超过指定的条数时，任务会失败并退出。

2. 容忍脏数据：如果您选择容忍脏数据，即使源端的脏数据仍然存在，也不会同步到目标端。在这种情况下，日志会显示脏数据记录，但任务不会报错。

3. 定位并修复源端脏数据：根据运行日志，您可以定位到源端的脏数据，并进行相应的修复。

在处理脏数据的过程中，如果遇到同步任务出现报错："脏数据条数检查不通过"，一种可能的解决方法是增大脏数据限制条数，扩大阈值，容忍脏数据。另一种方法是定位并修复源端脏数据。