使用钉钉机器人监控DataWorks/消息队列Kakfa/实时计算Flink任务

简介: 我们写的数仓任务、Flink任务提交任务缺少对任务运行情况监控报警,这里可以使用钉钉自带的机器人实现钉钉群任务告警功能

1.概述

离线数仓任务提交之后,责任人就不太关注任务运行情况,导致多次数据产出延迟甚至任务出错无人管理;实时任务也经常因为延迟问题造客服投诉,缺少对实时任务延迟出错等监控;消息队列Kafka购买版本及集群配置不够导致消费或生产流量超阈值,Kafak集群宕机等问题;以上急需开发人员对上述问题进行监控,这里采用钉钉机器人推送报警信息,直接@相应负责人进行及时处理。

2.报警推送

1.自定义钉钉群机器人

选择一个钉钉群,在智能群助手创建自定义机器人,选择自定义关键词方式(这里的关键词指报警信息需包含该关键词才能触发改机器人发送报警),最后生成的Webhook地址一定要复制下来,方便后续使用。

这里分别创建4个群机器人:

DataWorks业务告警(关键词:DataWorks)

Flink集群告警(关键词:Flink、restart、emit_delay)

Kafka集群告警(关键词:kafkaconsumerdisk)

每日值班助手(关键词:DataWorks)

image.pngimage.png

image.png

image.png


2.DataWorks任务监控

1.基于智能监控配置

1.DataWorks运维大屏--智能监控--规则管理

image.png

2.新建自定义规则,输入规则名称,选择需要监控的任务节点,配置触发条件(超时、出错、未完成等),这里选择未完成,然后接着配置截止到几点未完成触发报警

image.png

3.报警方式选择钉钉群机器人,输入刚才创建的DataWokks业务告警Webhook地址,然后配置报警次数,确定即可。

image.png

4.当该任务在每日6点未运行结束,则钉钉会触发报警并推送至钉钉群

image.png

2.基于周期任务运维配置

1.在提交的周期任务里,选择需要设置报警的任务节点

image.png

2.选择出错报警,输入刚才创建的DataWokks业务告警Webhook地址。当任务出错时,则钉钉会触发报警并推送至钉钉群

image.png

3.Flink任务监控

1.在实时计算flink平台作业运维界面,对需要添加报警的任务选择添加告警规则

image.png

2.自定义规则,注意这里的规则名称需要和Flink集群监控机器人里的关键词保持一致

这里比如规则名称为:restart,设置阈值(1min重启次数),通知方式选择钉钉

image.png

3.联系人组我们需要创建,新建告警需要通知的联系人,将Flink集群监控Webhook地址输入

image.png

4.联系人创建完成后,添加联系人组,将需要通知的联系人加入联系人组,最后上述步骤2中选择这个联系人组

image.png

5.当任务出错或者延迟,则会触发钉钉机器人并通知群里的相应联系人

image.png

4.Kafka集群监控

1.消息队列kafka--监控报警,选择创建报警规则

image.png

2.选择创建报警规则,产品选择Kafka,然后点击添加规则

image.png

3.输入规则名称,这里选择实例的消息生产量,因为不同kafka集群配置消息生产量是不同的

image.png

4.阈值设置为100

image.png

5.配置完成后,选择对应的报警联系人,如果还没报警联系人,则需要创建并输入Kafka集群监控Webhook地址

image.png

image.png

6.当生产阈值超过100时,就会产生报警并推送顶顶群对应联系人

image.png

3.值班助手

当上述告警都配置完成时,负责人也不一定一定在场处理问题,所以可以利用DataWorks值班表,将每天需要值班运维的人员发送告警群里。

1.运维中心--智能监控--值班表,新建值班表

image.png

2.输入名称,以钉钉方式提醒,输入值班助手Webhook地址

image.png

3.针对日期表设置值班人员,则每日前一天会在群里通知,当天值班人员处理问题

image.png

image.png

这里通知方式有@所有人,和不@,如果想要@相应值班人员,则需要写代码实现,这个我们下篇文章具体讲述

4.总结

以上就是我们针对离线和实时任务的出错报警监控,当然也有其他设置方式,阿里云也提供了。当前的设置很方便我们运维人员处理问题了,后续会进行改进。

拜了个拜

目录
相关文章
|
机器人 异构计算
10分钟,用RAG搭建专业钉钉/飞书客服机器人
只需10分钟,快速搭建专属客服机器人,大幅提升工作效率!通过魔搭社区注册账号、绑定阿里云账号获取免费算力资源,并选择GPU模式运行教程脚本。按照食用指引操作,完成机器人部署并进行对话测试,前5位在评论区提交作业的用户将获赠魔搭社区时尚咖啡杯一个。立即点击教程脚本链接开始体验吧!
280 0
|
4月前
|
弹性计算 自然语言处理 Ubuntu
从0开始在阿里云上搭建基于通义千问的钉钉智能问答机器人
本文描述在阿里云上从0开始构建一个LLM智能问答钉钉机器人。LLM直接调用了阿里云百炼平台提供的调用服务。
从0开始在阿里云上搭建基于通义千问的钉钉智能问答机器人
|
5月前
|
存储 人工智能 监控
钉钉对话机器人实现赞踩收集
本文介绍如何通过AppFlow记录钉钉AI对话卡片的用户反馈情况。首先确保已接入钉钉AI机器人,然后分三步实现:1) 修改钉钉AI消息卡片,添加点赞按钮并配置回调参数;2) 配置钉钉卡片点赞消息接收连接流,更新卡片状态;3) 设置日志收集节点,存储用户反馈数据。完成配置后,用户可在群聊中与机器人互动,并使用点踩点赞功能,反馈数据将被有效记录和分析。
463 6
钉钉对话机器人实现赞踩收集
|
5月前
|
SQL 运维 Java
蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
本文介绍了对Flink实时计算编译任务的Koupleless架构改造。为解决进程模型带来的响应慢、资源消耗大等问题,团队将进程模型改为线程模型,并借助Koupleless的类加载隔离能力实现版本和包的隔离。通过动态装配Plugin及其Classpath,以及Biz运行时仅对依赖Plugin可见的设计,大幅优化了编译任务的性能。结果表明,新架构使编译耗时降低50%,吞吐量提升5倍以上。
蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
|
8月前
|
人工智能 机器人 API
AppFlow:无代码部署Dify作为钉钉智能机器人
本文介绍如何通过计算巢AppFlow完成Dify的无代码部署,并将其配置到钉钉中作为智能机器人使用。首先,在钉钉开放平台创建应用,获取Client ID和Client Secret。接着,创建消息卡片模板并授予应用发送权限。然后,使用AppFlow模板创建连接流,配置Dify鉴权凭证及钉钉连接凭证,完成连接流的发布。最后,在钉钉应用中配置机器人,发布应用版本,实现与Dify应用的对话功能。
1819 7
AppFlow:无代码部署Dify作为钉钉智能机器人
|
11月前
|
Java Shell Maven
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
553 4
|
11月前
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
334 0
|
消息中间件 监控 Java
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
144 1
|
监控 Cloud Native 流计算
实时计算 Flink版产品使用问题之如何查看和管理任务
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
资源调度 Java Scala
实时计算 Flink版产品使用问题之如何实现ZooKeeper抖动导致任务失败时,能从最近的检查点重新启动任务
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。