DataWorks忽略脏数据,是不是不报错,但是数据依然不会进行插入,还是会依然把脏数据插入到数据表里的?
脏数据不会写入目标表 且不阻塞任务 可以看下百问百答脏数据篇 https://developer.aliyun.com/article/748252?spm=a2c6h.12873581.0.dArticle748252.1ec43740LqNDlu&groupCode=dataworks,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
当DataWorks在同步任务中遇到脏数据时,默认情况下不会将脏数据插入到数据表中。
DataWorks的同步任务提供了对脏数据的检查和处理机制。如果检测到脏数据,DataWorks会根据配置来决定如何处理这些数据:
此外,在配置同步任务时,可以在向导模式中指定是否允许脏数据产生以及脏数据的最大条数。这样的配置可以根据实际情况灵活调整,以适应不同的数据质量要求和业务场景。
综上所述,DataWorks在处理脏数据时,可以根据设置选择忽略脏数据而不将其插入到数据表中,或者在脏数据超过限制时报错。这为数据同步提供了一定的灵活性和控制能力,确保了数据质量的同时也避免了因脏数据导致的任务失败。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。