6.【kafka运维】删除Topic消息+查看Broker磁盘信息

简介: 6.【kafka运维】删除Topic消息+查看Broker磁盘信息

文章目录

1.删除指定分区的消息kafka-delete-records.sh

2. 查看Broker磁盘信息kafka-log-dirs.sh

More

日常运维 、问题排查 怎么能够少了滴滴开源的

滴滴开源LogiKM一站式Kafka监控与管控平台


1.删除指定分区的消息kafka-delete-records.sh

删除指定topic的某个分区的消息删除至offset为1024


先配置json文件offset-json-file.json

{"partitions":
[{"topic": "test1", "partition": 0,
  "offset": 1024}],
  "version":1
}

在执行命令


sh bin/kafka-delete-records.sh --bootstrap-server 172.23.250.249:9090 --offset-json-file config/offset-json-file.json


验证 通过 LogIKM 查看发送的消息


image.png

image.png

从这里可以看出来,配置"offset": 1024 的意思是从最开始的地方删除消息到 1024的offset; 是从最前面开始删除的


2. 查看Broker磁盘信息kafka-log-dirs.sh

查询指定topic磁盘信息--topic-list topic1,topic2


sh bin/kafka-log-dirs.sh --bootstrap-server xxxx:9090 --describe --topic-list test2


查询指定Broker磁盘信息--broker-list 0 broker1,broker2


sh bin/kafka-log-dirs.sh --bootstrap-server xxxxx:9090 --describe --topic-list test2 --broker-list 0


例如我一个3分区3副本的Topic的查出来的信息

logDir Broker中配置的log.dir

{
  "version": 1,
  "brokers": [{
    "broker": 0,
    "logDirs": [{
      "logDir": "/Users/xxxx/work/IdeaPj/ss/kafka/kafka-logs-0",
      "error": null,
      "partitions": [{
        "partition": "test2-1",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-0",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-2",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }]
    }]
  }, {
    "broker": 1,
    "logDirs": [{
      "logDir": "/Users/xxxx/work/IdeaPj/ss/kafka/kafka-logs-1",
      "error": null,
      "partitions": [{
        "partition": "test2-1",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-0",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-2",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }]
    }]
  }, {
    "broker": 2,
    "logDirs": [{
      "logDir": "/Users/xxxx/work/IdeaPj/ss/kafka/kafka-logs-2",
      "error": null,
      "partitions": [{
        "partition": "test2-1",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-0",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-2",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }]
    }]
  }, {
    "broker": 3,
    "logDirs": [{
      "logDir": "/Users/xxxx/work/IdeaPj/ss/kafka/kafka-logs-3",
      "error": null,
      "partitions": []
    }]
  }]
}

如果你觉得通过命令查询磁盘信息比较麻烦,你也可以通过 LogIKM 查看

image.png

More

Kafka专栏持续更新中…(源码、原理、实战、运维、视频、面试视频)

相关文章
|
1月前
|
消息中间件 存储 缓存
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
56 3
|
1月前
|
消息中间件 存储 分布式计算
大数据-53 Kafka 基本架构核心概念 Producer Consumer Broker Topic Partition Offset 基础概念了解
大数据-53 Kafka 基本架构核心概念 Producer Consumer Broker Topic Partition Offset 基础概念了解
67 4
|
2月前
|
消息中间件 Kafka Apache
kafka: invalid configuration (That topic/partition is already being consumed)
kafka: invalid configuration (That topic/partition is already being consumed)
|
2月前
|
消息中间件 运维 Linux
linux之centos运维kafka
linux之centos运维kafka
|
3月前
|
运维 搜索推荐 大数据
云HIS系统源码,云医院信息系统:以患者为中心的云架构、云服务、云运维的信息体系
医院信息系统(HIS)正借助云计算与大数据技术,从局域网模式向互联网转型,实现医疗服务高效化、个性化。新型医疗卫生信息平台(HIP)构建了以患者为中心的云端服务体系,支持区域内资源统一管理与按需服务,促进医疗机构间的业务协同。系统具备一体化管理、标准化建设等特点,涵盖从门诊到住院全流程,包括挂号、收费、诊疗、药房药库管理等多个模块,支持数据整合与智能分析,助力医疗服务智能化升级与科学决策。
云HIS系统源码,云医院信息系统:以患者为中心的云架构、云服务、云运维的信息体系
|
3月前
|
消息中间件 Java Kafka
【Azure 事件中心】在Windows系统中使用 kafka-consumer-groups.bat 查看Event Hub中kafka的consumer groups信息
【Azure 事件中心】在Windows系统中使用 kafka-consumer-groups.bat 查看Event Hub中kafka的consumer groups信息
|
5月前
|
消息中间件 Java Kafka
kafka 磁盘扩容与数据均衡操作代码
Kafka 的磁盘扩容和数据均衡是与保证Kafka集群可用性和性能相关的两个重要方面。在 Kafka 中,分区数据的存储和平衡对集群的运行至关重要。以下是有关Kafka磁盘扩容和数据均衡的一些建议
58 1
|
4月前
|
消息中间件 监控 Kafka
查询Kafka集群中消费组(group)信息和对应topic的消费情况
查询Kafka集群中消费组(group)信息和对应topic的消费情况
2497 0
|
6月前
|
消息中间件 负载均衡 监控
【Kafka】Kafka 创建Topic后如何将分区放置到不同的 Broker 中?
【4月更文挑战第13天】【Kafka】Kafka 创建Topic后如何将分区放置到不同的 Broker 中?
|
1月前
|
运维 Linux Apache
,自动化运维成为现代IT基础设施的关键部分。Puppet是一款强大的自动化运维工具
【10月更文挑战第7天】随着云计算和容器化技术的发展,自动化运维成为现代IT基础设施的关键部分。Puppet是一款强大的自动化运维工具,通过定义资源状态和关系,确保系统始终处于期望配置状态。本文介绍Puppet的基本概念、安装配置及使用示例,帮助读者快速掌握Puppet,实现高效自动化运维。
56 4

热门文章

最新文章

下一篇
无影云桌面