开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据质量监控 校验异常是什么原因?

问题1:DataWorks数据质量监控 校验异常是什么原因 我的版本看不到日志?image.png
都是校验异常 没用任何说明image.png
问题2:是int类型不能做空值检测?image.png

展开
收起
cuicuicuic 2023-09-17 16:59:25 60 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks数据质量监控校验异常可能有多种原因,其中一些常见的原因包括:

    1. 数据源配置错误:如果您在创建数据质量监控任务时配置了不正确或不完整的数据源信息,可能会导致校验异常。请确保数据源的连接信息、访问权限、表结构等都正确配置。

    2. 校验规则配置错误:如果您定义的校验规则存在问题,例如规则逻辑错误、列名、条件或函数使用错误等,可能会导致校验异常。请仔细检查校验规则的定义,确保其准确性和合理性。

    3. 数据质量任务调度设置错误:如果数据质量监控任务的调度设置有误,如频率设置不正确、依赖关系设置错误等,可能会导致校验异常。请检查任务的调度设置,确保其与实际需求相符。

    至于无法看到日志的问题,可能有以下原因:

    1. 日志级别设置:请确保您的DataWorks数据质量监控任务的日志级别设置正确。如果日志级别设置为低级别(如WARN、ERROR),可能会导致无法看到详细的日志信息。建议将日志级别设置为较高级别(如DEBUG)以获取更详细的日志。

    2. 访问权限问题:请确保您具有足够的权限来查看相关任务的日志。如果您没有足够的权限,可能无法访问和查看日志信息。请联系管理员或具有相应权限的用户进行协助。

    3. 日志存储设置:DataWorks可以将日志存储在MaxCompute或Datahub中,具体取决于您的配置。如果您无法看到任务日志,请检查日志存储设置是否正确,并确保您具有访问日志存储位置的权限。

    2023-09-18 14:09:13
    赞同 展开评论 打赏
  • 回答1:看不到运行日志吗 点进去看下呢image.png
    再点一次“任务查询” 不从查看试跑结果跳转
    回答2:分区配置值 是不是格式用的yyyy-mm-dd 这个格式不能转成数值类型image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-18 08:43:54
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多