一款开源的 Kafka 管理平台

简介: Apache Kafka UI 是一个免费的开源 Web UI,用于监控和管理 Apache Kafka 集群,可方便地查看 Kafka Brokers、Topics、消息、Consumer 等情况,支持多集群管理、性能监控、访问控制等功能

Apache Kafka UI 是一个免费的开源 Web UI,用于监控和管理 Apache Kafka 集群,可方便地查看 Kafka Brokers、Topics、消息、Consumer 等情况,支持多集群管理、性能监控、访问控制等功能。
1.png

特征

多集群管理:在一个地方监控和管理所有集群
使用指标仪表板进行性能监控:使用轻量级仪表板跟踪关键 Kafka 指标
查看 Kafka Brokers:查看主题和分区分配、控制器状态
查看 Kafka 主题:查看分区计数、复制状态和自定义配置
查看消费者组:查看每个分区的停放偏移量、组合滞后和每个分区滞后
浏览消息:使用 JSON、纯文本和 Avro 编码浏览消息
动态主题配置:使用动态配置创建和配置新主题
自定义序列化/反序列化插件:对数据使用现成的 Serde
基于角色的访问控制:精确管理访问 UI 的权限
数据脱敏:混淆主题消息中的敏感数据

入门

要运行 Apache Kafka 的 UI,可以使用预构建的 Docker 映像或自行构建它(或 jar 文件)。

快速启动(演示运行)

docker run -it -p 8080:8080 -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui

然后访问 http://localhost: 8080

持久安装

services:
  kafka-ui:
    container_name: kafka-ui
    image: provectuslabs/kafka-ui:latest
    ports:
      - 8080:8080
    environment:
      DYNAMIC_CONFIG_ENABLED: true
    volumes:
      - ~/kui/config.yml:/etc/kafkaui/dynamic_config.yaml

设置 git

设置 git 凭据:

git config --global user.name "Mona Lisa"
git config --global user.email "monalisa@louvre.net"

配置向导

动态应用程序配置

2.png
默认情况下,kafka-ui 不允许在运行时更改其配置。当应用程序启动时,它会从系统环境、配置文件(application.yaml)和 JVM 参数(由-D)读取配置。一旦配置被读取,它就被视为不可变,即使配置源(例如文件)发生更改也不会刷新。

数据脱敏

主题数据脱敏

可以配置 kafka-ui 来屏蔽消息页面中显示的敏感数据。

  • 消除:对于 json 对象 - 删除目标字段,否则 - 返回“null”字符串。
- type: REMOVE
  fields: [ "id", "name" ]
  ...
  • 应用示例
{ "id": 1234, "name": { "first": "James" }, "age": 30 }
 ->
{ "age": 30 }

自定义可插拔 serde 注册

可以实现自己的 serde 并将其注册到 kafka-ui 应用程序中。

  • 添加 kafka-ui-serde-api 依赖项(应该可以通过 mavencentral 下载)
  • 实现 com.provectus.kafka.ui.serde.api.Serde 接口
  • 将 serde 打包到 uber jar 中,或者提供包含无依赖项 jar 及其依赖项 jar 的目录

传送门

开源协议:Apache-2.0 license

开源地址:https://github.com/provectus/kafka-ui

项目合集:https://github.com/OpenTechCol/OpenTechCol

-END-

相关文章
|
4月前
|
消息中间件 分布式计算 监控
腾讯技术官手撸笔记,全新演绎“Kafka部署实战”,已开源
我们知道,当下流行的MQ非常多,不过很多公司在技术选型上还是选择使用Kafka。与其他主流MQ进行对比,我们会发现Kafka最大的优点就是吞吐量高。实际上Kafka是高吞吐低延迟的高并发、高性能的消息中间件,配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。
|
5月前
|
消息中间件 Kafka API
kafka topic 管理api
kafka topic 管理api
38 0
|
5月前
|
消息中间件 存储 监控
深度解析 Kafka 中的 Offset 管理与最佳实践
Kafka 中的 Offset(偏移量)是消息处理的关键元素,对于保证消息传递的可靠性和一致性至关重要。本篇博客将深度解析 Kafka 中的 Offset 管理机制,并提供丰富的示例代码,让你更全面地理解 Offset 的原理、使用方法以及最佳实践。
|
5月前
|
消息中间件 监控 Kafka
深入理解 Kafka 集群搭建与管理
Apache Kafka 作为分布式流处理平台的核心,其集群搭建与管理是确保高可用性和高性能的关键。本文将深入研究 Kafka 集群的构建、配置、工作原理、节点角色以及一些高级管理策略,以助力大家更深层次地理解和灵活运用 Kafka 集群。
|
8月前
|
消息中间件 存储 负载均衡
流平台 Kafka
流平台 Kafka
58 0
|
9月前
|
消息中间件 中间件 Kafka
限时开源!阿里内部消息中间件合集:MQ+Kafka+体系图+笔记
近好多小伙伴说在准备金三银四的面试突击了,但是遇到消息中间件不知道该怎么学了,问我有没有成体系的消息中间件的学习方式。 额,有点不知所措,于是乎小编就想着做一次消息中间件的专题,归类整理了一些纯手绘知识体系图、面试以及相关的学习笔记。
200 1
|
10月前
|
消息中间件 JSON Kubernetes
一文搞懂 Kafka 开源可视化 Web UI - Kafdrop
Hello folks,我是 Luga,今天我们来分享一下与 Kafka 有关的观测性话题- Kafdrop。作为一个构建在 Spring Boot 之上的免费 Web UI工具,越来越受到广大技术人员的喜好。
498 0
|
10月前
|
消息中间件 JSON 数据可视化
Kafdrop-Kafka开源可视化工具
Kafdrop是Apache Kafka的开源Web UI可视化工具。
423 0
|
10月前
|
消息中间件 JSON 监控
Kafka Magic-Kafka开源可视化工具
Kafka Magic是一款Apache Kafka的Web UI可视化工具。
385 0
|
11月前
|
消息中间件 负载均衡 监控
【Kafka从入门到放弃系列 六】Kafka架构深入——高并发读写及Zookeeper管理
【Kafka从入门到放弃系列 六】Kafka架构深入——高并发读写及Zookeeper管理
171 0

热门文章

最新文章