开发者社区 问答 正文

LogHub消费组如何监?


ConsumerGroup 是一个消费者组,包含多个Consumer,每个Consumer消费Logstore中的一部分Shard。
Shard的数据模型可以简单理解成一个队列,新写入的数据被加到队尾,队列中的每条数据都会对应一个数据写入时间,下图是Shard的数据模型。

协同消费延迟报警中的基本概念:

  • [backcolor=transparent]消费过程:消费者从队头开始顺序读取数据的过程。
  • [backcolor=transparent]消费进度:消费者当前读取的数据对应的写入时间。
  • [backcolor=transparent]消费落后时长:当前消费进度和队列中最新的数据写入时间的差值,单位为秒。

ConsumerGroup的消费落后时长取其包含的所有Shard的消费落后时长的最大值,当超过用户预设阈值时,就认为消费落后太多,需要报警。

配置方法


  1. 登录 日志服务管理控制台,单击需要监控的 Logstore 的监控图标。

  2. 找到消费落后时长图表,单击进入云监控控制台。

  3. 该图展示了 Logstore 下所有 ConsumerGroup 的消费落后时长,单位为秒。红框中图例是所有的 ConsumerGroup,单击右上角 [backcolor=transparent]创建报警规则 进入规则创建页面。

  4. 创建针对 ConsumerGroup spamdetector-report-c 的报警规则,5min 内只要有一次延迟大于等于 600 秒就会报警。设置生效时间和报警通知联系人,保存规则。

上面的操作完成后便成功创建了报警规则。有关报警规则配置的任何问题,请提工单到云监控。

展开
收起
轩墨 2017-10-23 10:13:13 1966 分享 版权
阿里云 AI 助理回答

在阿里云日志服务中,ConsumerGroup 是一种管理日志数据消费的机制,它包含多个 Consumer 实体,每个 Consumer 负责处理 Logstore 中一部分 Shard 的数据流。Shard 可以视作一个先进先出(FIFO)队列,新数据不断被添加到队列尾部,并带有明确的数据写入时间戳。

消费延迟监控报警基本概念

  • 消费过程:消费者按顺序从队列头部开始读取消息。
  • 消费进度:表示消费者当前处理数据的时间点,即所读取数据的写入时间。
  • 消费落后时长:这是衡量消费实时性的一个关键指标,计算方式为当前最新数据的写入时间与消费进度之间的差值,单位为秒。
  • 报警触发条件:当ConsumerGroup内所有Shard的最大消费落后时长超过用户预设阈值时,系统将触发消费延迟报警。

配置消费延迟报警步骤

  1. 访问控制台:首先登录阿里云日志服务管理控制台。
  2. 选择Logstore:找到您需要监控的Logstore,点击其监控图标。
  3. 查看消费落后时长:在展示的所有ConsumerGroup的消费落后时长图表中(单位为秒),识别目标ConsumerGroup的表现。
  4. 进入云监控:通过图表中的入口,跳转至云监控控制台。
  5. 创建报警规则
    • 点击“创建报警规则”按钮。
    • 为目标ConsumerGroup,例如spamdetector-report-c,设定报警规则:如果在5分钟内任一时刻消费延迟达到或超过600秒,则触发报警。
    • 设置规则的生效时间及指定接收报警通知的联系人列表。
    • 完成设置后保存报警规则。

完成上述步骤后,针对ConsumerGroup spamdetector-report-c的消费延迟监控报警规则即配置成功。如遇问题,可提交工单至云监控获取帮助。

此解答依据了提供的知识库参考资料中的相关内容。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答