开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks概述任务运维:智能监控是什么?

DataWorks概述任务运维:智能监控是什么?

展开
收起
真的很搞笑 2023-07-25 19:58:54 166 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    DataWorks 概述任务运维提供了丰富的任务监控和告警功能,其中智能监控是其中的一项功能,可以帮助您及时发现和解决任务运行中的异常情况,提高任务的可靠性和稳定性。具体来说,智能监控包括以下几个方面:

    数据质量监控:可以通过配置数据质量检查规则,对任务输出的数据进行自动化的数据质量检查,及时发现数据质量问题,并进行告警和处理。

    运行状态监控:可以监控任务的运行状态,包括任务运行时间、运行结果、资源使用情况等,及时发现任务运行中的异常情况,并进行告警和处理。

    资源利用率监控:可以监控任务所使用的资源情况,包括 CPU、内存、磁盘等资源的利用率,及时发现资源过度使用或闲置的情况,并进行告警和处理。

    健康度监控:可以监控任务的健康度,包括任务依赖关系、任务运行时长、任务历史运行情况等,及时发现任务运行中的异常情况,并进行告警和处理。

    任务日志监控:可以监控任务的日志信息,包括任务运行日志、错误日志、异常日志等,及时发现任务运行中的问题,并进行告警和处理。

    2023-07-30 15:49:26
    赞同 展开评论 打赏
  • 在DataWorks中,任务运维是指对任务的监控、调度和管理等操作。其中,智能监控是一种通过自动化和智能化技术来实现任务监控的方式。它可以帮助用户更好地了解任务的执行情况、发现潜在问题,并提供相应的告警和提示。

    智能监控在任务运维中扮演重要的角色,具有以下特点和功能:

    1. 实时监控:智能监控能够实时监测任务的执行状态、进度和性能指标等。通过监控面板或仪表盘,用户可以随时查看任务的执行情况,并及时发现异常或延迟等问题。

    2. 告警通知:当任务出现错误、超时、异常或其他问题时,智能监控会自动触发告警通知。这可以通过短信、邮件、钉钉等渠道向相关人员发送警报,以便及时处理和修复问题。

    3. 数据可视化:智能监控可以将任务的运行数据以图表、指标或报表的形式进行可视化展示。这样,用户可以直观地了解任务的趋势、性能和影响等,便于做出相应的优化或决策。

    4. 自动化分析:智能监控还可以通过数据分析和智能算法,自动识别任务中的异常模式或趋势,并提供相应的分析和建议。这可以帮助用户更快地发现问题根源,减少故障排查的时间和工作量。

    2023-07-26 20:37:45
    赞同 展开评论 打赏
  • 您可以针对周期实例和独享资源组 监控报警。自定义规则报警 通过新建自定义规则实现针对指定对象的报警。 您可以对指定对象(任务节点、基线、工作空间、业务流程)上节点的状态:完成、未完成、出错、周期未完成、超时、自动重跑后仍出错等及实时计算任务的出错,设置监控报警。同时也支持针对独享资源组使用率及等待实例数设置监控报警,并且支持结合自助运维的功能来实现短信、邮件、电话、钉钉机器人的方式发送报警给责任人(节点责任人、指定责任人、值班表中的排班等)。详情请参考自定义规则。内置全局规则报警通过设置内置规则实现针对特殊场景及全局监控的报警,包括节点孤立报警,节点成环报警,全局事件报警,全局基线预警。节点孤立报警 孤立节点指节点在周期任务或周期实例展开父节点看没有依赖任何父节点,这类型节点在自动调度时不会被调度调起,所以孤立节点不会自动调度运行,如果该孤立节点下游依赖较多,可能会造成较严重的后果。孤立节点产生后会自动报警,如果收到孤立节点报警请及时处理。节点成环报警 节点成环指的是某节点为上游节点但又同时依赖了自己的下游节点。导致依赖关系成环,这类型节点在自动调度时不会被调度调起,节点成环后会自动报警,如果收到节点成环报警请及时处理。全局事件报警 针对影响重保基线上的任务产生的事件报警,您可以设置处理最大报警次数 、最小报警间隔、报警方式、报警接收人。全局基线预警 针对重保基线设置处理最大报警次数、最小报警间隔、报警方式、报警接收人。基线预警 通过基线管理功能来实现针对业务线的动态预警和基线报警。 您可以将需要重保的任务移到一条基线上,基线开启之后,基线上的任务就会处于重保状态,当有节点影响到该保障基线上的节点数据产出(这些节点出错或者变慢)时,会生成相应事件报警,同时会根据历史完成时间推算当天数据是否会顺利产出,并提前预警。详情请参考文档基线管理。自助运维 自助运维支持通过自定义规则中的独享资源组监控规则,并在限定条件进行对资源组的运维操作,比如终止运行中的实例。详情请参考自动运维。
    https://help.aliyun.com/document_detail/137930.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-25 20:03:00
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载