咨询一下,同步任务写到hdfs目标端,来源端的字段类型是double,里面的字段值为空,写hdfs目标端的时候,目标字段类型是double,空值被判定为脏数据了,导致最后表中数据变少了,如何不进行这个判定或者让脏数据也能写到目标端?
数据映射有个脏数据控制:用于定义脏数据阈值,及对任务的影响。 重要 当脏数据过多时,会影响同步任务的整体同步速度。
不配置时默认允许脏数据,即任务产生脏数据时不影响任务执行。
配置为0,表示不允许脏数据存在。如果同步过程中产生脏数据,任务将失败退出。
允许脏数据并设置其阈值时: 若产生的脏数据在阈值范围内,同步任务将忽略脏数据(即不会写入目标端),并正常执行。 若产生的脏数据超出阈值范围,同步任务将失败退出。
空字符串判定为脏数据是么,源端是什么数据库。mysql之类的可以用函数替换成0 再写入目标端。此答案整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。