DataWorks为什么algods.ods_napa_bk_bank_check_config_detail这张表,我查询昨天的30号的数据是空的,29号的是有的, 我的数据库是一直有数据的,怎么去排查?
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据,帮助您快速排查、定位问题,提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。https://help.aliyun.com/zh/dataworks/user-guide/manage-unexpected-data?spm=a2c4g.11186623.0.i330
这个问题可能是由于查询条件或者时间戳的问题导致的。以下是一些排查建议:
检查查询条件:确认你查询的是昨天(30号)的数据,而不是其他日期的数据。如果有复杂的查询条件,请仔细检查是否正确。
检查时间戳:确认你获取时间戳的方式是否正确。例如,如果你是从日期字段中提取的时间戳,请确保提取的是正确的值。
检查数据一致性:确认你的数据库中的数据是否一致。你可以查看一下昨天的数据是否有其他异常。
检查数据更新时间:确认你查询的数据是否在昨天(30号)被更新过。如果没有更新过,那么你可能无法查询到昨天的数据。
进入数据地图看下任务产出情况呐
这个表是怎么完成每天的数据更新的?如果是dataworks上的调度任务产出 这里应该会有产出信息 如果是其他客户端更新的数据 这里就查看不到 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
这种情况可能是由于DataWorks同步数据的时间戳与您的数据库中的时间戳存在差异导致的。首先,您需要确认DataWorks同步数据的时间范围是否正确。如果同步时间范围设置错误,可能会导致部分数据未被同步。其次,检查您的数据库中是否存在时间戳格式不一致的问题,这也可能会影响数据的同步。
在DataWorks控制台,您可以进入数据开发页面,查看表的调度依赖配置是否正确。因为DataWorks的调度依赖主要用于保障周期调度节点定时更新的表数据,确保下游节点取数无误。如果表的调度依赖配置有误,也可能导致数据同步失败。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。