DataWorks中开启的基线监控任务有哪些?

DataWorks中开启的基线监控任务有哪些?

展开
收起
真的很搞笑 2023-07-17 15:52:53 172 分享 版权
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    基线监控是一种自动化的数据质量检测机制,可以帮助您发现数据中的异常情况。基线监控任务包括以下几个方面的监控:

    数据完整性检测:基线监控会检测数据表中的记录数量是否符合预期,以及是否存在重复记录或者缺失记录等异常情况。

    数据格式检测:基线监控可以检测数据表中的字段类型、长度、格式等是否符合预期,以及是否存在异常值、非法字符等问题。

    数据一致性检测:基线监控可以检测数据表之间的关联关系是否存在异常,例如外键约束、唯一索引等限制是否被满足。

    数据规范性检测:基线监控可以检测数据表中的数据是否符合规范和标准,例如是否存在敏感信息、是否符合命名规范等。

    数据性能检测:基线监控可以检测数据表的查询性能、数据导入导出性能等,以及是否存在性能瓶颈或者异常情况。

    2023-07-21 08:03:35
    赞同 展开评论
  • 在 DataWorks 中,基线监控任务用于对数据集成及数据开发过程中的一些常见问题进行监控和预警。以下是一些常见的基线监控任务:

    1. 缺失字段检查:检查数据表中是否存在缺失字段,即是否有必要的字段没有被正确填充。

    2. 数据格式检查:检查数据表中的字段是否符合预定义的数据格式,例如日期字段是否符合日期格式、数字字段是否为有效数字等。

    3. 行数检查:检查数据表中的行数是否在合理的范围内,可以根据业务需求设定上下限。

    4. 重复值检查:检查数据表中是否存在重复的记录,可以根据指定的字段或字段组合进行重复值检查。

    5. 空值检查:检查数据表中是否存在空值(NULL),帮助确保数据的完整性和准确性。

    6. 异常值检查:检查数据表中是否存在异常值,例如超出预定范围的数值、无效的枚举值等。

    7. 主键冲突检查:针对具有主键的数据表,检查是否存在主键冲突的情况。

    8. 关联关系检查:检查数据表之间的关联关系是否满足预期,例如外键关联是否正确、父子表之间的关系是否一致等。

    9. 数据分布检查:检查数据表中的数据是否分布均匀,避免出现数据倾斜等问题。

    2023-07-18 09:30:34
    赞同 展开评论
  • 基线开关开启的基线监控是针对任务的。如果所有的任务都正常,即使破线也不会报警,因为所有的任务都运行正常,无法判断出哪个任务出错。任务都正常但基线仍破线的原因,通常有以下原因:设置的基线时间不合理。任务的依赖有问题,即使基线破线也不报警。
    https://help.aliyun.com/document_detail/153136.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-17 15:58:33
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

还有其他疑问?
咨询AI助理