DataWorks硅谷的数据质量检测是不是挂了,我们调度任务堵塞了两个小时 ?

DataWorks硅谷的数据质量检测是不是挂了,我们调度任务堵塞了两个小时 ?image.png

展开
收起
真的很搞笑 2024-04-09 09:36:31 52 分享 版权
阿里云 AI 助理回答

根据您提供的问题,结合知识库中的相关资料,以下是关于“DataWorks硅谷的数据质量检测是否挂了,调度任务堵塞了两个小时”的详细解答:


1. 问题背景分析

调度任务堵塞可能与数据质量检测规则的配置和运行结果有关。根据知识库内容,以下几点可能导致调度任务被阻塞: - 强规则触发红色异常:如果数据质量检测中设置了强规则,并且校验结果触发了红色异常(即checkResult=2),则会阻塞调度任务的执行。 - Hook 配置:在创建数据质量监控任务时,可以通过Hooks配置阻塞调度任务的条件。例如,当满足Condition=${severity} == "High" AND ${status} == "Critical"时,调度任务会被阻塞。

因此,需要检查以下内容: 1. 数据质量检测任务的运行结果是否触发了红色异常。 2. 是否存在强规则配置,导致调度任务被阻塞。 3. Hook 的触发条件是否符合当前的运行状态。


2. 排查步骤

步骤 1:查看质量监控任务的运行结果

通过 DataWorks 控制台或 API 接口,查询质量监控任务的运行记录,重点关注以下字段: - 校验结果 (checkResult):判断是否触发了红色异常(值为2)。 - 重要程度 (blockType):确认是否为强规则(值为1)。 - 开始时间 (beginTime) 和结束时间 (endTime):确认任务是否在堵塞时间段内运行。

操作路径: 1. 登录 DataWorks 控制台。 2. 进入质量监控视角,选择对应的质量监控任务。 3. 单击详情,查看本次运行记录历史运行记录

步骤 2:检查强规则配置

确认是否存在强规则配置,导致红色异常触发后阻塞调度任务: - 强规则的定义:当blockType=1时,红色异常会阻塞调度任务。 - 检查路径: 1. 在规则管理页签,找到对应的质量监控任务。 2. 查看规则的重要程度,确认是否为强规则。

步骤 3:验证 Hook 配置

如果任务是通过调度触发的(Type=ByScheduledTaskInstance),需要检查 Hook 的触发条件: - Hook 类型:确认是否配置了BlockTaskInstance,即阻塞调度任务继续运行。 - 触发条件:检查Condition字段,确认是否满足阻塞条件(例如${severity} == "High" AND ${status} == "Critical")。

操作路径: 1. 在 DataWorks 控制台,进入质量监控任务配置页面。 2. 查看Hooks配置,确认触发条件和动作类型。


3. 解决方案

方案 1:处理红色异常

如果确认是由于红色异常导致调度任务被阻塞,可以采取以下措施: 1. 查看问题数据:单击问题数据处理,分析异常原因并填写处理意见。 2. 调整规则阈值:如果阈值设置过于严格,可以适当放宽红色异常的阈值范围(CriticalThreshold)。 3. 修改规则重要程度:将强规则调整为弱规则(blockType=0),避免阻塞调度任务。

方案 2:临时解除阻塞

如果需要快速恢复调度任务,可以临时解除阻塞: 1. 手动触发任务:通过 DataWorks 控制台手动触发调度任务,跳过数据质量检测。 2. 修改 Hook 配置:调整Condition字段,避免满足阻塞条件。

方案 3:通知订阅配置

如果需要及时获取异常通知,可以配置告警订阅: 1. 在Notifications中设置告警触发条件(例如${blockType} == "Strong")。 2. 选择通知渠道(如邮件、短信、钉钉等),确保相关人员能够及时收到告警信息。


4. 重要提醒

  • 强规则的影响:强规则触发红色异常后会直接阻塞调度任务,请谨慎配置。
  • 分区表达式匹配:确保分区表达式(PartitionSpec)正确匹配目标表的分区,否则可能导致校验失败。
  • 业务日期校验:离线数据的业务日期通常为前一天(bizdate),请确认校验任务的时间范围是否正确。

5. 总结

建议按照上述步骤逐一排查,重点检查质量监控任务的运行结果、强规则配置以及 Hook 触发条件。如果问题仍未解决,可以联系阿里云技术支持团队,提供具体的任务 ID 和运行日志以进一步分析。

希望以上解答对您有所帮助!

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理