开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks这个里面显示有脏数据 但是日志里 我直接点进去 没看到脏数据呢?

DataWorks这个里面显示有脏数据 但是日志里 我直接点进去 没看到脏数据呢?image.png
没看到脏数据报错 或者 显示dirty data

展开
收起
真的很搞笑 2023-11-20 05:30:42 81 0
4 条回答
写回答
取消 提交回答
  • 怀疑是不是日志太大了 所以不能完整展示 ,partition":"dh='vk_yz_prod'"
    "project":"bill_center",
    "table":"ods_inf_message",
    这张生产表里一条数据都没有么 看日志还是有写入成功的,我直接 count(1) 显示0,直接查 也没看到数据,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-20 21:55:32
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,显示脏数据是指那些不符合预设条件或规则的数据。如果您看到提示有脏数据,请尝试以下方法来定位和解决问题:

    1. 确认表中有异常值:在 DataWorks 中,可以直接查看表的内容,查找是否存在异常值或空白字段;
    2. 核实业务规则:确认您的业务规则是否准确,以及是否符合实际情况;
    3. 检查源数据:如果数据是从外部来源导入的,那么请检查源数据,确认是否有问题;
    4. 执行日志:检查日志记录,找出异常记录及其原因;
    5. 分析清洗报告:如果 DataWorks 提供了清洗报告,可以参考报告中的内容,分析异常数据的情况。
    2023-11-20 15:24:43
    赞同 展开评论 打赏
  • DataWorks中显示有脏数据,但日志里没有看到脏数据的原因可能有以下几点:

    1. 日志级别设置问题:请检查您的日志级别设置,确保日志级别足够高以显示脏数据。例如,如果您使用的是Python,可以尝试将日志级别设置为DEBUG或更高级别。

    2. 脏数据过滤:DataWorks可能对日志进行了过滤,只显示部分信息。您可以尝试在日志中搜索关键词“脏数据”或“Dirty Data”,看是否能找到相关信息。

    3. 脏数据处理逻辑:请检查您的数据处理逻辑,确保在处理过程中能够正确地识别和处理脏数据。如果数据处理逻辑存在问题,可能会导致脏数据没有被正确记录到日志中。

    4. 日志存储位置:请确认您的日志存储位置是否正确。如果日志存储在其他位置,可能需要登录相应的系统或查看相应的文件来查找脏数据信息。

    2023-11-20 11:11:02
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    脏数据信息可能被过滤或隐藏。您可以尝试调整日志的显示选项,例如选择不同的日志级别(如“DEBUG”、“INFO”、“WARNING”、“ERROR”等),以便查看脏数据相关的详细信息。

    1. 脏数据可能与特定的数据源或任务相关。您可以检查与该任务或数据源相关的其他日志,以查找脏数据的相关信息。
    2. 脏数据可能并未实际发生。DataWorks 中的“脏数据”指标可能会受到一些其他因素的影响,例如任务执行的失败、数据源的连接问题等。在这种情况下,您可能需要进一步排查问题,以确定是否存在脏数据。
      要查看 DataWorks 中的脏数据,您可以尝试以下方法:
    3. 在 DataWorks 的界面中,找到包含脏数据的任务或数据流,并点击“查看日志”。
    4. 在日志页面,选择合适的日志级别(如“DEBUG”),以便查看脏数据相关的详细信息。
    5. 如果您仍然无法找到脏数据,可以尝试使用 DataWorks 的调试功能,
    2023-11-20 07:56:17
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载