6.【kafka运维】删除Topic消息+查看Broker磁盘信息

简介: 6.【kafka运维】删除Topic消息+查看Broker磁盘信息

文章目录

1.删除指定分区的消息kafka-delete-records.sh

2. 查看Broker磁盘信息kafka-log-dirs.sh

More

日常运维 、问题排查 怎么能够少了滴滴开源的

滴滴开源LogiKM一站式Kafka监控与管控平台


1.删除指定分区的消息kafka-delete-records.sh

删除指定topic的某个分区的消息删除至offset为1024


先配置json文件offset-json-file.json

{"partitions":
[{"topic": "test1", "partition": 0,
  "offset": 1024}],
  "version":1
}

在执行命令


sh bin/kafka-delete-records.sh --bootstrap-server 172.23.250.249:9090 --offset-json-file config/offset-json-file.json


验证 通过 LogIKM 查看发送的消息


image.png

image.png

从这里可以看出来,配置"offset": 1024 的意思是从最开始的地方删除消息到 1024的offset; 是从最前面开始删除的


2. 查看Broker磁盘信息kafka-log-dirs.sh

查询指定topic磁盘信息--topic-list topic1,topic2


sh bin/kafka-log-dirs.sh --bootstrap-server xxxx:9090 --describe --topic-list test2


查询指定Broker磁盘信息--broker-list 0 broker1,broker2


sh bin/kafka-log-dirs.sh --bootstrap-server xxxxx:9090 --describe --topic-list test2 --broker-list 0


例如我一个3分区3副本的Topic的查出来的信息

logDir Broker中配置的log.dir

{
  "version": 1,
  "brokers": [{
    "broker": 0,
    "logDirs": [{
      "logDir": "/Users/xxxx/work/IdeaPj/ss/kafka/kafka-logs-0",
      "error": null,
      "partitions": [{
        "partition": "test2-1",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-0",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-2",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }]
    }]
  }, {
    "broker": 1,
    "logDirs": [{
      "logDir": "/Users/xxxx/work/IdeaPj/ss/kafka/kafka-logs-1",
      "error": null,
      "partitions": [{
        "partition": "test2-1",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-0",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-2",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }]
    }]
  }, {
    "broker": 2,
    "logDirs": [{
      "logDir": "/Users/xxxx/work/IdeaPj/ss/kafka/kafka-logs-2",
      "error": null,
      "partitions": [{
        "partition": "test2-1",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-0",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }, {
        "partition": "test2-2",
        "size": 0,
        "offsetLag": 0,
        "isFuture": false
      }]
    }]
  }, {
    "broker": 3,
    "logDirs": [{
      "logDir": "/Users/xxxx/work/IdeaPj/ss/kafka/kafka-logs-3",
      "error": null,
      "partitions": []
    }]
  }]
}

如果你觉得通过命令查询磁盘信息比较麻烦,你也可以通过 LogIKM 查看

image.png

More

Kafka专栏持续更新中…(源码、原理、实战、运维、视频、面试视频)

目录
相关文章
消息中间件 Java Kafka
912 0
|
消息中间件 人工智能 安全
秒级灾备恢复:Kafka 2025 AI自愈集群下载及跨云Topic迁移终极教程
Apache Kafka 2025作为企业级实时数据中枢,实现五大革新:量子安全传输(CRYSTALS-Kyber抗量子加密算法)、联邦学习总线(支持TensorFlow Federated/Horizontal FL框架)、AI自愈集群(MTTR缩短至30秒内)、多模态数据处理(原生支持视频流、3D点云等)和跨云弹性扩展(AWS/GCP/Azure间自动迁移)。平台采用混合云基础设施矩阵与软件依赖拓扑设计,提供智能部署架构。安装流程涵盖抗量子安装包获取、量子密钥配置及联邦学习总线设置。
|
消息中间件 存储 负载均衡
Apache Kafka核心概念解析:生产者、消费者与Broker
【10月更文挑战第24天】在数字化转型的大潮中,数据的实时处理能力成为了企业竞争力的重要组成部分。Apache Kafka 作为一款高性能的消息队列系统,在这一领域占据了重要地位。通过使用 Kafka,企业可以构建出高效的数据管道,实现数据的快速传输和处理。今天,我将从个人的角度出发,深入解析 Kafka 的三大核心组件——生产者、消费者与 Broker,希望能够帮助大家建立起对 Kafka 内部机制的基本理解。
843 2
|
消息中间件 SQL 分布式计算
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
363 1
|
消息中间件 JSON 大数据
大数据-65 Kafka 高级特性 分区 Broker自动再平衡 ISR 副本 宕机恢复再重平衡 实测
大数据-65 Kafka 高级特性 分区 Broker自动再平衡 ISR 副本 宕机恢复再重平衡 实测
565 4
|
消息中间件 存储 分布式计算
大数据-53 Kafka 基本架构核心概念 Producer Consumer Broker Topic Partition Offset 基础概念了解
大数据-53 Kafka 基本架构核心概念 Producer Consumer Broker Topic Partition Offset 基础概念了解
545 4
|
消息中间件 Kafka Apache
kafka: invalid configuration (That topic/partition is already being consumed)
kafka: invalid configuration (That topic/partition is already being consumed)
|
人工智能 运维 监控
运维安全还能靠“人盯人”?别闹了,聊聊自动化处理的真功夫
运维安全还能靠“人盯人”?别闹了,聊聊自动化处理的真功夫
409 17
|
人工智能 运维 安全
运维老哥的救星?AI 驱动的自动化配置管理新趋势
运维老哥的救星?AI 驱动的自动化配置管理新趋势
535 11
|
机器学习/深度学习 运维 监控
智能运维Agent:自动化运维的新范式
在数字化转型浪潮中,智能运维Agent正重塑运维模式。它融合人工智能与自动化技术,实现从被动响应到主动预防的转变。本文详解其四大核心功能:系统监控、故障诊断、容量规划与安全响应,探讨如何构建高效、可靠的自动化运维体系,助力企业实现7×24小时无人值守运维,推动运维效率与智能化水平全面提升。
2964 0

热门文章

最新文章