DataWorks这个里面显示有脏数据 但是日志里 我直接点进去 没看到脏数据呢?
没看到脏数据报错 或者 显示dirty data
怀疑是不是日志太大了 所以不能完整展示 ,partition":"dh='vk_yz_prod'"
"project":"bill_center",
"table":"ods_inf_message",
这张生产表里一条数据都没有么 看日志还是有写入成功的,我直接 count(1) 显示0,直接查 也没看到数据,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在 DataWorks 中,显示脏数据是指那些不符合预设条件或规则的数据。如果您看到提示有脏数据,请尝试以下方法来定位和解决问题:
DataWorks中显示有脏数据,但日志里没有看到脏数据的原因可能有以下几点:
日志级别设置问题:请检查您的日志级别设置,确保日志级别足够高以显示脏数据。例如,如果您使用的是Python,可以尝试将日志级别设置为DEBUG或更高级别。
脏数据过滤:DataWorks可能对日志进行了过滤,只显示部分信息。您可以尝试在日志中搜索关键词“脏数据”或“Dirty Data”,看是否能找到相关信息。
脏数据处理逻辑:请检查您的数据处理逻辑,确保在处理过程中能够正确地识别和处理脏数据。如果数据处理逻辑存在问题,可能会导致脏数据没有被正确记录到日志中。
日志存储位置:请确认您的日志存储位置是否正确。如果日志存储在其他位置,可能需要登录相应的系统或查看相应的文件来查找脏数据信息。
脏数据信息可能被过滤或隐藏。您可以尝试调整日志的显示选项,例如选择不同的日志级别(如“DEBUG”、“INFO”、“WARNING”、“ERROR”等),以便查看脏数据相关的详细信息。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。