协同消费延迟报警

简介: 协同消费库(ConsumerLibrary) 是并行对 LogHub 中日志进行消费的高级模式,提供了消费组(ConsumerGroup)概念对实时消费端进行抽象与管理。 日志服务近期推出了消费落后报警功能,用户只需要简单配置,就可以通过短信、邮箱、钉钉等接收消费落后报警。

协同消费库(ConsumerLibrary) 是并行对 LogHub 中日志进行消费的高级模式,提供了消费组(ConsumerGroup)概念对实时消费端进行抽象与管理。Spark Streaming、Storm、即将推出的 Flink SDK 都是基于这种模式的包装。

注意:有关 ConsumerGroup 概念及使用方法,参考下面的文档:

  1. 通过 ConsumerLib 实现不丢、保序、去重
  2. ConsumerLib 使用
  3. 查看协同消费进度

消费组消费进度与报警

ConsumerGroup 是一个消费者组,包含多个 consumer,每个 consumer 消费 Logstore 中的一部分 shard。
shard 的数据模型可以简单理解成一个队列,新写入的数据被加到队尾,队列中的每条数据都会对应一个数据写入时间,下图是 shard 的数据模型。
model

要理解报警首先要理解下面几个概念:
消费过程:消费者从队头开始顺序读取数据的过程。
消费进度:消费者当前读取的数据对应的写入时间。
消费落后时长:当前消费进度和队列中最新的数据写入时间的差值,单位为秒。
ConsumerGroup 的消费落后时长取其包含的所有 shard 的消费落后时长的最大值,当超过用户预设阈值时,就认为消费落后太多,需要报警。

配置方法

  1. 登录 日志服务管理控制台,单击需要监控的 Logstore 的监控图标。
    step1
  2. 找到消费落后时长图表,单击进入云监控控制台。
    step2
  3. 该图展示了 Logstore 下所有 ConsumerGroup 的消费落后时长,单位为秒。红框中图例便是所有的 ConsumerGroup,单击右上角 创建报警规则 进入规则创建页面。
    step3
  4. 创建针对 ConsumerGroup spamdetector-report-c 的报警规则,5min 内只要有一次大于等于 600 秒就报警。设置生效时间和报警通知联系人,保存规则。
    step4

上面的操作完成后便成功创建了报警规则。有关报警规则配置的任何问题,可以直接提工单到云监控。

目录
相关文章
|
存储 消息中间件 NoSQL
延时消息常见实现方案
延时消息常见实现方案
延时消息常见实现方案
|
2月前
|
消息中间件 存储 监控
MQ线上大规模消息堆积问题处理及使用场景详解
【11月更文挑战第21天】在如今的高并发互联网应用中,消息队列(Message Queue,简称MQ)扮演着至关重要的角色
129 1
|
5月前
|
消息中间件 负载均衡 Kafka
MQ消息路由大揭秘!从菜鸟到高手,一文带你玩转消息传递的‘高速公路’,轻松实现订单秒级响应!
【8月更文挑战第24天】在现代分布式系统中,消息队列(MQ)作为系统间解耦的核心工具,支持异步处理、负载均衡及高可用性。消息路由是MQ中的关键环节,决定消息从生产者到消费者的路径。主流MQ产品如RabbitMQ、Kafka等采用相似的路由机制,涉及交换器、队列、路由键等概念。常见的路由模式包括直接交换、主题交换及发布/订阅模式。以RabbitMQ为例,通过直接交换模式,可以根据订单类型(如“普通订单”、“紧急订单”)将消息路由至相应的处理队列。这一过程展示了MQ系统如何基于路由键和队列绑定关系实现消息的有效传递。
124 2
|
5月前
|
消息中间件 监控 Java
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
|
6月前
|
消息中间件 存储 RocketMQ
消息队列 MQ使用问题之进行超过3天的延迟消息投递,采用多次投递的策略是否有风险
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
7月前
|
SQL 运维 Serverless
函数计算产品使用问题之实时数据消费太慢,造成积压,该怎么办
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
消息中间件 存储 缓存
RocketMQ 监控告警:生产环境如何快速通过监控预警发现堆积、收发失败等问题?
本文主要向大家介绍如何利用 RocketMQ 可观测体系中的指标监控,对生产环境中典型场景:消息堆积、消息收发失败等场景配置合理的监控预警,快速发现问题,定位问题。
1470 0
RocketMQ 监控告警:生产环境如何快速通过监控预警发现堆积、收发失败等问题?
|
资源调度 运维 监控
如何通过任务调度实现百万规则报警
报警是一个公司的日常需求,常见的形态除了满足运维过程中的基础设施监控报警(CPU/内存/磁盘等)之外,部分公司也会在应用指标(如 QPS、RT 等)及业务指标(如 GMV/日活 等)上有相应的报警需求。
4119 17
如何通过任务调度实现百万规则报警
|
消息中间件 存储 负载均衡
对于钉钉OA事件订阅出现的网络波动导致的通知丢失问题
对于钉钉OA事件订阅出现的网络波动导致的通知丢失问题
140 1
|
存储 消息中间件 Java
消息收发弹性——生产集群如何解决大促场景消息收发的弹性&降本诉求
今天来给大家分享下阿里云 RocketMQ5.0 实例的消息弹性收发功能,并且通过该功能生产集群是如果解决大促场景消息收发的弹性以及降本诉求的。
230 0
消息收发弹性——生产集群如何解决大促场景消息收发的弹性&降本诉求

热门文章

最新文章