开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks的数据服务, 支持运维/ 预警吗?

dataworks的数据服务, 支持运维/ 预警吗?image.png

展开
收起
真的很搞笑 2023-12-23 18:00:24 73 0
3 条回答
写回答
取消 提交回答
  • 阿里云DataWorks的数据服务提供了丰富的运维和预警功能,以确保数据的稳定性和可靠性。以下是DataWorks数据服务中与运维和预警相关的部分支持:

    1. 运维管理

      • 数据开发:包括任务调度、任务依赖、任务编排等,可以进行数据任务的创建、修改、上线、下线等全生命周期管理。
      • 任务监控:实时查看任务运行状态、日志信息,提供资源使用情况统计,如CPU、内存、磁盘等。
      • 异常诊断:当数据任务执行失败时,DataWorks会提供详细的错误信息和诊断建议,帮助快速定位问题。
    2. 智能运维(AIOPS)

      • 智能诊断:通过机器学习算法预测可能出现的问题,并提前给出优化建议。
      • 实时报警:设置任务运行结果、资源使用阈值等报警规则,一旦触发条件立即发送告警通知。
    3. 数据质量监控

      • 数据质量规则定义:支持定义各类数据质量规则,如空值检查、唯一性校验、完整性校验等。
      • 数据质量监控与报告:自动定期或实时检测数据质量,对不符合规则的数据进行告警,并生成详细的质量报告。
    4. 数据服务预警

      • 预警服务:针对数据延迟、任务失败、数据异常等情况,支持自定义预警策略并对接多种通知渠道(短信、邮件、钉钉等)。
      • 定时调度预警:对于基于定时调度的数据服务,可以在调度延迟或未成功时触发预警机制。

    综上所述,DataWorks的数据服务不仅支持基础的运维管理功能,还具备智能化的预警能力,满足用户在实际业务场景下的运维需求。

    2023-12-30 12:57:57
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的数据服务确实支持运维和预警功能。其运维中心可以对周期任务、手动任务、实时同步任务等多种类型的任务进行运维管理,并针对任务本身及任务执行使用的资源等各类对象提供多种监控方式。此外,运维中心还包括实时任务运维、周期任务运维、手动任务运维、智能监控、智能诊断、资源运维和引擎运维等功能模块,为用户提供了任务操作与状态、引擎、资源等多方位的运维能力。

    对于预警方面,DataWorks将"承诺时间-预警余量"作为预警时间,结合监控范围内任务的历史平均运行时长,基线实例依次推算得出监控范围内各任务的最晚完成时间和最晚开始运行时间。如果设定了运维中心中的报警规则,在任务运行出现异常时,系统会及时发出报警信息,帮助您及时发现并处理问题,确保数据生产的高效与稳定。

    2023-12-25 17:53:48
    赞同 展开评论 打赏
  • 暂时没有哈 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-25 08:01:03
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载