DataWorks 运维中心介绍及实践 | 学习笔记

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
简介: 快速学习 DataWorks 运维中心介绍及实践,介绍了 DataWorks 运维中心介绍及实践系统机制, 以及在实际应用过程中如何使用。

开发者学堂课一站式大数据开发治理平台 DataWorks 初级课程DataWorks 运维中心介绍及实践】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/763/detail/13358


DatatWorks 运维中心介绍及实践


内容介绍:

一、运维中心介绍

二、 监控情况

三、 移动版使用


一、任务运维介绍

(1)运维中心

是对任务进行测试,运维、监控的模块

运维中心包括:运维大屏、任务运维、智能监控

任务运维根据任务运维的方式不同分为:实时任务,周期任务、手动任务

image.png

(2)运维大屏

展示当前您需要关注的任务指标,任务运行的整体情况等信息,

帮助任务运维效率提升。通过点击相应的节点,进行操作。

如图:左边展示任务成功或者失败,左侧展示数据运行的折线图

image.png

(3)任务运维

提供列表和 DAG 两种模式,提供图形化任务管理,千万级任务依赖

Dag 逐级展现。

image.png

实例是任务被调度时生成的执行记录,支持运行诊断、查看运行日志、重跑等操作。

image.png

1.补数据

如:在九月20号进行任务操作,若是想拿到20号之前的数据,根据需求打开补数据界面进行选择,针对数据需求选择数据时间节点。

海量数据:数据节点大

image.png

2. 运行诊断

对于任务运行过程中,出现的数据错误,任务中断,任务阻塞问题,展示上游节点的运行情况,来分析具体在那个节点任务阻塞,来进行运维诊断,针对情况,提供解决方案。

image.png

资源组使用情况,调控资源部份,通过折线展示,黄色表示过去任务,绿色表现任务进行

image.png

还可以针对日志进行聚类分析,提供诊断建议,同时还可进行对比分析。


二、监控情况

(1)常规监控方法

新建一个自定义规则,包括三步

1. 选择监控对象,将某个节点进行设定

2. 设置触发条件

3. 设置报警方式,报警接收人 报警的限度

设置完成,如果任务出错,即可收到短信可设置多个节点,多个监控对象。

image.png

由于上游堵塞或资源紧张可能出现时间延迟问题,针对时间延迟,可设置完成时间进行设置,缺点,针对各个任务节点的结构复杂无法准确预测报警事件,当监控任务数据量巨大,将产生海量报警,无法精确确定报警原因。

image.png

(2)智能监控

在阿里巴巴存在百万级的任务报警,主要通过节点进行解决问题,将重点节点添加到基线上,系统自动推断运行的时间节点,基线上游任务异常自动关联受影响基线

image.png

甘特图性能

(3)智能监控监控原理

如何保证老板九点半看到报表,首先设置报表的设定进行运维时间的报表

此时节点数12,产出节点K,设定基线&业务承诺时间,反推各任务最晚启动时间

识别关键路径,关键链路并不是一成不变的,是动态可调整的,根据任务运行的实际情况,关键路径上的节点出现变慢的情况系统也会出现报警。

image.png

(4)智能监控的使用

天基线针对天任务,小时基线针对小时任务,将需要保障的任务添加到基线,优先级影响资源争抢时的分配策略

image.png

 

三、使用场景

image.png

(1)使用方法

1. 阿里云 app 安装阿里云 app 单机前往数据台

2. 手机浏览器 浏览器输入 workbench. Data. Aliyun.corn 或者直接扫描二维码

3. 钉钉小程序 登陆钉钉,点击工作界面

(2)亮点功能

1. 与报警短信结合, 任务运维快人一步

2. 更清晰的甘特图,横屏竖屏切换自如

3. 查看日志一建到底

4. 手机处理表权限审批

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
15天前
|
运维 自然语言处理 Cloud Native
云栖实录 | 智能运维年度重磅发布及大模型实践解读
阿里云大数据运维团队重磅发布云原生大规模集群场景的 GitOps 方案,该方案基于 OAM 云原生模型,促进研发与运维人员协作,同时兼顾变更的过程管理和终态管理,可实现变更的自动化、代码化、透明化。此外,阿里云大数据运维团队分享了大模型在大数据智能运维场景的应用实践,通过引入检索增强生成(RAG)方法和其他优化策略,大幅提高了在智能问答和智能诊断方面知识的关联性和检索精度,并基于多智能体框架建立高效的数据分析和决策支持系统。
|
15天前
|
运维 监控 安全
高效运维管理:提升系统稳定性的策略与实践
【10月更文挑战第2天】 在当今数字化时代,运维管理成为企业IT部门的重要任务。本文将探讨如何通过高效的运维管理策略和最佳实践,提升系统的稳定性,确保业务持续平稳运行。通过分析常见问题、预防措施以及应对策略,我们将揭示高效运维的关键要素,助您打造一个可靠的IT环境。
|
3天前
|
运维 Prometheus 监控
运维之眼:监控的艺术与实践
在信息技术飞速发展的今天,运维监控已成为保障系统稳定运行的关键。本文将探讨运维监控的重要性,介绍常用的监控工具和方法,并通过实际案例分析,展示如何有效地实施监控策略,以确保系统的高可用性和性能。
|
2天前
|
运维 自然语言处理 开发者
作为一名运维人员,使用通义灵码个人版处理日常工作中的代码相关任务,极大地提升了我的工作效率。以下是我使用通义灵码的具体实践场景、效果和心得,以及相应的截图。
作为一名运维人员,我使用通义灵码处理日常工作中的代码任务,效率提升了30%。通义灵码帮助我快速理解复杂代码、生成准确的代码注释,并能从自然语言生成代码示例,大幅减少了代码编写和理解的时间。
16 2
|
4天前
|
运维 监控 安全
高效运维管理:提升系统稳定性的策略与实践
【10月更文挑战第13天】 本文探讨了高效运维管理的关键策略和实践,旨在帮助运维团队提升系统的稳定性。通过分析常见问题,提出具体的解决方案,包括监控与告警、自动化工具的应用、故障排查与恢复、性能优化以及安全防护等方面。通过这些策略和实践,可以帮助企业构建一个稳定、可靠且高效的IT系统。
27 1
|
8天前
|
运维 监控 测试技术
构建高效运维体系:从监控到自动化的实践之路
【10月更文挑战第9天】 在当今信息技术飞速发展的时代,运维作为保障系统稳定性与效率的关键角色,正面临前所未有的挑战。本文将探讨如何通过构建一个高效的运维体系来应对这些挑战,包括监控系统的搭建、自动化工具的应用以及故障应急处理机制的制定。我们将结合具体案例,分析这些措施如何帮助提升系统的可靠性和运维团队的工作效率。
24 1
|
10天前
|
存储 运维 监控
高效运维管理:从基础架构优化到自动化实践
在当今数字化时代,高效运维管理已成为企业IT部门的重要任务。本文将探讨如何通过基础架构优化和自动化实践来提升运维效率,确保系统的稳定性和可靠性。我们将从服务器选型、存储优化、网络配置等方面入手,逐步引导读者了解运维管理的核心内容。同时,我们还将介绍自动化工具的使用,帮助运维人员提高工作效率,降低人为错误的发生。通过本文的学习,您将掌握高效运维管理的关键技巧,为企业的发展提供有力支持。
|
14天前
|
机器学习/深度学习 运维 监控
提升运维效率:自动化工具与实践的融合
【10月更文挑战第3天】 在当今信息技术迅猛发展的时代,运维作为保持系统稳定性和性能的关键角色变得越来越重要。本文将探讨如何通过结合自动化工具和最佳实践来优化运维流程,实现高效、可靠的运维管理。从基础监控到高级自动化,我们将一步步引导您了解如何搭建和维护一个高效的运维体系。
22 3
|
14天前
|
运维 监控 数据挖掘
高效运维实践
【10月更文挑战第3天】 在当今数字化时代,企业的IT系统日益复杂,运维工作成为保障业务连续性和系统稳定性的关键环节。本文将探讨如何通过优化流程、引入自动化工具、建立监控系统以及加强团队协作等措施,提升运维效率,确保企业IT系统的高可用性和安全性。
19 2
|
10天前
|
运维 监控 安全
构建高效运维体系的策略与实践
【10月更文挑战第7天】 本文旨在探讨如何构建高效的运维体系。从明确定义目标、优化流程、引入自动化工具、建立监控机制到提升团队能力,我们将全面解析高效运维体系的构建步骤和关键要素。通过具体策略和成功案例的分享,帮助运维团队提升工作效率、减少故障发生,并持续改进运维质量。
16 0

热门文章

最新文章

  • 1
    DataWorks操作报错合集之DataWorks任务异常 报错: GET_GROUP_SLOT_EXCEPTION 该怎么处理
    91
  • 2
    DataWorks操作报错合集之DataWorksUDF 报错:evaluate for user defined function xxx cannot be loaded from any resources,该怎么处理
    95
  • 3
    DataWorks操作报错合集之在DataWorks中,任务流在调度时间到达时停止运行,是什么原因导致的
    99
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
    84
  • 5
    DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度,参数解析不出来,收到了 "Table does not exist" 的错误,该怎么处理
    79
  • 6
    DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
    91
  • 7
    DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null,该怎么解决
    100
  • 8
    DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02],mysql里面有个json类型字段,是什么原因导致的
    134
  • 9
    DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面,也添加了RDS的IP白名单报错:数据源配置有误,请检查,该怎么处理
    80
  • 10
    DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行,但是在 Hologres 表中没有看到数据,该怎么解决
    104