Kafka单机模式和集群模式环境搭建

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
简介: Kafka单机模式和集群模式环境搭建

快速开始教程:http://kafka.apache.org/quickstart


2、启动服务

需要先启动ZooKeeper服务

$ zkServer.sh start

# 如果没有,可以使用单节点的ZooKeeper
$ bin/zookeeper-server-start.sh config/zookeeper.properties

启动Kafka

> bin/kafka-server-start.sh config/server.properties


3、创建话题

$ bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test


# 查看话题
$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092

4、发送消息

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

5、接收消息

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

多节点服务

1、修改配置

broker.id 在集群中需要唯一

$ cp config/server.properties config/server-1.properties
$ cp config/server.properties config/server-2.properties

$ cat config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs-1

$ config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=/tmp/kafka-logs-2

2、创建话题

> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic

# 查看话题描述
> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test

> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

3、查看进程,一共有6个(我的天)

$ jps
72513 Kafka # 3个Kafka组成集群
72816 Kafka
73081 Kafka
73872 Jps
73347 ConsoleProducer # 生产者
73609 ConsoleConsumer # 消费者
35198
68590 QuorumPeerMain # Zookeeper


            </div>
目录
相关文章
|
6月前
|
存储 安全 测试技术
零基础必看!Win10系统重装图文详解+安全下载链接,避坑神器
本教程详细介绍了重装Win10系统的完整流程,包括准备工作、制作启动盘、BIOS设置、系统安装、驱动安装与优化以及常见问题解决。准备工作中需确保U盘容量、下载官方镜像并备份重要数据;通过微PE工具箱制作启动盘;调整BIOS设置以支持U盘启动;使用DiskGenius分区并借助WinNTSetup加载镜像完成安装;最后优化系统性能并解决可能的故障,确保安装顺利进行。
|
开发框架 算法 Linux
【知识点回顾 】Qt信号槽与Linux信号处理 的处理机制 深入探讨
【知识点回顾 】Qt信号槽与Linux信号处理 的处理机制 深入探讨
299 0
|
开发框架 前端开发 JavaScript
使用React Native构建跨平台桌面应用程序
React Native是一种流行的跨平台移动应用开发框架,它允许开发者使用JavaScript构建原生移动应用。然而,你可能不知道的是,React Native也可以用于构建跨平台的桌面应用程序。本文将介绍如何使用React Native构建跨平台桌面应用程序,并展示一些示例代码和实际应用场景。
12248 0
|
数据采集 编解码 开发者
案例分享:Qt多通道数据采集系统(通道配置、电压转换、采样频率、通道补偿值、定时采集、导出excel和图表、自动XY轴、隐藏XY轴、实时隐藏显示通道
案例分享:Qt多通道数据采集系统(通道配置、电压转换、采样频率、通道补偿值、定时采集、导出excel和图表、自动XY轴、隐藏XY轴、实时隐藏显示通道
案例分享:Qt多通道数据采集系统(通道配置、电压转换、采样频率、通道补偿值、定时采集、导出excel和图表、自动XY轴、隐藏XY轴、实时隐藏显示通道
|
Go API
Golang Gin 框架之分组路由(五)
Gin 是使用纯 Golang 语言实现的 HTTP Web 框架,Gin 的接口设计简洁,性能极高,现在被广泛使用。上一篇文章介绍了 Gin 的基本使用方式,今天我们详细看一看 Gin 在分组路由方面的内容。 正文 分组路由 说到分组路由,你一定会问为什么要搞分组路由?分组路由有什么优势?下面就详细介绍一下。
740 0
|
6天前
|
人工智能 运维 安全
|
4天前
|
人工智能 异构计算
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
B站开源IndexTTS2,用极致表现力颠覆听觉体验
在语音合成技术不断演进的背景下,早期版本的IndexTTS虽然在多场景应用中展现出良好的表现,但在情感表达的细腻度与时长控制的精准性方面仍存在提升空间。为了解决这些问题,并进一步推动零样本语音合成在实际场景中的落地能力,B站语音团队对模型架构与训练策略进行了深度优化,推出了全新一代语音合成模型——IndexTTS2 。
558 17