macOS 系统 安装 Kafka 快速入门

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: macOS 系统 安装 Kafka 快速入门

Kafka 的核心功能是高性能的消息发送与高性能的消息消费。Kafka 名字的由来是 Kafka 三位原作者之一 Jay Kreps 说 Kafka 系统充分优化了写操作,所以用一个作家的名字来命名很有意义,他非常喜欢作家 Franz Kafka,并且用 Kafka 命名开源项目很酷 。以下是 Kafka 的快速入门教程。

下载并解压缩 Kafka 二进制代码压缩文件

打开 Kafka 官网的下载地址,可以看到不同版本的 Kafka 二进制代码压缩包下载链接,如下图所示:

当前最新的 Kafka 版本是 3.5.0,提供了两个二进制压缩包可供下载:

  • kafka_2.12-3.5.0.tgz
  • kafka_2.13-3.5.0.tgz

其中的 2.12/2.13 表示编译 Kafka 的 Scale 语言版本,后面的 3.5.0 是 Kafka 的版本。仅当使用 Scala 并且希望 Kafka 与使用的 Scala 版本一致时,选择 Scale 语言版本才有意义,否则两个版本都可以运行(推荐 2.13)。我这次下载的是 kafka_2.13-3.5.0.tgz。

下载完毕后将文件放至/usr/local/etc目录下,打开终端使用下列命令解压文件:

cd /usr/local/etc
tar -zxf kafka_2.13-3.5.0.tgz
cd kafka_2.13-3.5.0

启动服务器

注意:启动前需确保本地环境已安装 Java 8+。

首先需要启动 ZooKeeper 服务器(ZooKeeper 是为 Kafka 提供协调服务的工具),可以直接使用 Kafka 内置的 ZooKeeper 服务器,运行下列命令:

bin/zookeeper-server-start.sh config/zookeeper.properties

接下来打开另一个终端会话并运行下列语句来启动 Kafka 服务器:

bin/kafka-server-start.sh config/server.properties

所有服务成功启动后,会拥有一个正在运行并可供使用的基本 Kafka 环境。

注意确保在 Kafka 的安装目录下运行 Kafka 命令,或者将 Kafka 的bin目录添加到系统的环境变量中,这样就可以在任意位置运行 Kafka 命令。

创建 topic

Kafka 是一个分布式事件流平台,它允许用户在多台机器上读取、写入、存储和处理事件(在文档中也称为记录或消息)。 事件包括支付交易、手机的地理位置更新、发货订单、来自物联网设备或医疗设备的传感器测量等等。这些事件被管理并存储在主题(topic)中。简单地说,topic 类似于文件系统中的文件夹,而事件则是该文件夹中的文件。 因此,在写入第一个事件之前,必须创建一个 topic。确保之前启动 ZooKeeper 和 Kafka 的终端不被关闭,再打开另一个终端会话并运行以下命令:

bin/kafka-topics.sh --create --topic test-events --bootstrap-server localhost:9092

这一步创建了一个名为 test-events 的 topic。接下来可以使用下面的命令来查看该 topic 的状态:

bin/kafka-topics.sh --describe --topic test-events --bootstrap-server localhost:9092

发送信息

Kafka 客户端通过网络与 Kafka brokers(服务器) 进行通信,用于写入(或读取)事件。运行控制台生产者客户端,将一些事件写入主题。默认情况下,输入的每一行将导致一个单独的事件被写入主题。

再打开一个新的终端,执行下列命令:

bin/kafka-console-producer.sh --topic test-events --bootstrap-server localhost:9092
Hello, Kafka
This is my first enent

可以随时使用 Ctrl + C 停止生产者客户端。

消费信息

打开另一个终端会话并运行控制台消费者客户端来读取刚刚创建的事件:

bin/kafka-console-consumer.sh --topic test-events --from-beginning --bootstrap-server localhost:9092

之前的命令都运行成功的话,可以看到上一步发送的两条消息。 可以随时使用 Ctrl + C 停止消费者客户端。

还可以尝试切换回生产者终端(上一步)编写其他事件,并查看事件是如何立即显示在消费者终端的。

由于事件持久存储在 Kafka 中,因此它们可以被任意数量的消费者读取任意多次。可以通过打开另一个终端会话再次运行本条命令来轻松验证这一点。

终止 Kafka 环境

现在就已经完成了快速入门,可以根据以下步骤终止 Kafka 环境。

  1. 使用 Ctrl + C 停止生产者和消费者客户端。
  2. 使用 Ctrl + C 停止 Kafka 服务器。
  3. 使用 Ctrl + C 停止 ZooKeeper 服务器。

如对本文内容有任何疑问、建议或意见,请联系作者,作者将尽力回复并改进📓;(联系微信:Solitudemind )


相关文章
|
1月前
|
消息中间件 存储 大数据
Apache Kafka: 强大消息队列系统的介绍与使用
Apache Kafka: 强大消息队列系统的介绍与使用
|
4月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
72 0
|
1月前
|
消息中间件 Java Kafka
Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
【2月更文挑战第19天】Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
55 1
|
10天前
|
消息中间件 存储 Java
深度探索:使用Apache Kafka构建高效Java消息队列处理系统
【4月更文挑战第17天】本文介绍了在Java环境下使用Apache Kafka进行消息队列处理的方法。Kafka是一个分布式流处理平台,采用发布/订阅模型,支持高效的消息生产和消费。文章详细讲解了Kafka的核心概念,包括主题、生产者和消费者,以及消息的存储和消费流程。此外,还展示了Java代码示例,说明如何创建生产者和消费者。最后,讨论了在高并发场景下的优化策略,如分区、消息压缩和批处理。通过理解和应用这些策略,可以构建高性能的消息系统。
|
4月前
|
消息中间件 存储 分布式计算
Hadoop学习笔记(HDP)-Part.19 安装Kafka
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
74 0
Hadoop学习笔记(HDP)-Part.19 安装Kafka
|
1月前
|
消息中间件 Kafka Linux
Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试(一篇学会使用 Offset Explorer)
【2月更文挑战第21天】Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试(一篇学会使用 Offset Explorer)
190 2
|
2月前
|
消息中间件 Java Kafka
docker安装kafka(wurstmeister)
docker安装kafka(wurstmeister)
123 0
|
3月前
|
消息中间件 Kafka Linux
linux如何安装KafKa
linux如何安装KafKa
961 0
|
3月前
|
消息中间件 Java Kafka
使用Java编写代码安装Kafka及启动Zookeeper和Kafka
如何使用Java编写代码安装Kafka及启动Zookeeper和Kafka?其中包括安装前准备、修改配置文件、创建日志目录和数据目录等步骤,请提供详细实现过程。
43 0
|
4月前
|
消息中间件 Kafka Docker
docker 安装kafka
docker 安装kafka
73 0

热门文章

最新文章