开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks报警指标有哪些?

DataWorks报警指标有哪些?

展开
收起
真的很搞笑 2023-12-23 18:09:06 49 0
2 条回答
写回答
取消 提交回答
  • 阿里云DataWorks提供了丰富的报警功能,其支持的报警指标涵盖了数据开发、数据集成、数据服务等场景中的多种监控点。以下是一些常见的报警指标类型:

    1. 任务运行状态

      • 任务失败:当某个任务执行失败时触发报警。
      • 任务延迟:任务执行超过预期时间阈值(如调度时间与实际完成时间之间的差距)。
    2. 资源使用情况

      • 计算资源(如MaxCompute CU消耗)超出预设阈值。
      • 存储空间接近或达到上限。
    3. 数据质量

      • 数据完整性检查:表记录数低于或高于设定的阈值。
      • 数据一致性检查:基于业务规则的数据校验失败,例如缺失值、空值、唯一性约束违反等。
    4. 数据集成

      • 数据同步任务异常:全量同步、增量同步任务失败或者数据迁移过程中出现错误。
      • 同步延迟:数据从源到目标系统的传输时间超过预定阈值。
    5. 调度依赖

      • 任务依赖未满足:上游任务未成功执行导致下游任务无法正常启动。
    6. 性能指标

      • SQL查询性能问题:SQL作业执行时间过长、内存使用过高或其他性能瓶颈。
    7. 自定义报警规则

      • 用户可以根据实际需求设置特定的自定义报警指标,比如基于SQL查询结果的统计信息进行报警。
    8. WebHook报警和钉钉/短信/邮件通知

      • 可以配置将报警信息通过WebHook发送至其他系统,或者直接通过钉钉机器人、短信、邮件等方式发送给指定接收人。

    在DataWorks中设置报警通常需要定义具体的报警策略,包括选择要监控的任务或对象、设置阈值条件以及告警间隔等参数。

    2023-12-30 13:36:27
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的运维中心提供了实时同步任务的报警规则设置,支持的报警指标包括:任务状态、业务延迟、消息堆积量(仅Kafka源)、Failover、DDL不支持、DDL通知和脏数据。

    • 任务状态:监控任务是否正常运行。
    • 业务延迟:监控任务的实际执行时间与预期时间的偏差。
    • 消息堆积量:针对Kafka源,当消息在传输过程中出现堆积时触发报警。
    • Failover:监控任务失败切换的情况。
    • DDL不支持:即将下线的DDL操作无法被支持和执行。
    • DDL通知:在DDL操作发生时发送的通知。
    • 脏数据:检测到的数据质量问题,如数据不一致等。

    DataWorks对实时同步任务设置告警时,支持多种告警接收方式,包括邮件、短信、电话、钉钉和webhook。同时,也可以在报警资源页面查看当日和本月的报警资源使用情况,包括数据集成、智能监控和数据质量等模块产生的报警短信和电话的数量。此外,智能监控模块还可能产生基线预警信息和事件报警信息等。

    2023-12-25 17:47:09
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多