macOS 系统 安装 Kafka 快速入门

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: macOS 系统 安装 Kafka 快速入门

Kafka 的核心功能是高性能的消息发送与高性能的消息消费。Kafka 名字的由来是 Kafka 三位原作者之一 Jay Kreps 说 Kafka 系统充分优化了写操作,所以用一个作家的名字来命名很有意义,他非常喜欢作家 Franz Kafka,并且用 Kafka 命名开源项目很酷 。以下是 Kafka 的快速入门教程。

下载并解压缩 Kafka 二进制代码压缩文件

打开 Kafka 官网的下载地址,可以看到不同版本的 Kafka 二进制代码压缩包下载链接,如下图所示:

当前最新的 Kafka 版本是 3.5.0,提供了两个二进制压缩包可供下载:

  • kafka_2.12-3.5.0.tgz
  • kafka_2.13-3.5.0.tgz

其中的 2.12/2.13 表示编译 Kafka 的 Scale 语言版本,后面的 3.5.0 是 Kafka 的版本。仅当使用 Scala 并且希望 Kafka 与使用的 Scala 版本一致时,选择 Scale 语言版本才有意义,否则两个版本都可以运行(推荐 2.13)。我这次下载的是 kafka_2.13-3.5.0.tgz。

下载完毕后将文件放至/usr/local/etc目录下,打开终端使用下列命令解压文件:

cd /usr/local/etc
tar -zxf kafka_2.13-3.5.0.tgz
cd kafka_2.13-3.5.0

启动服务器

注意:启动前需确保本地环境已安装 Java 8+。

首先需要启动 ZooKeeper 服务器(ZooKeeper 是为 Kafka 提供协调服务的工具),可以直接使用 Kafka 内置的 ZooKeeper 服务器,运行下列命令:

bin/zookeeper-server-start.sh config/zookeeper.properties

接下来打开另一个终端会话并运行下列语句来启动 Kafka 服务器:

bin/kafka-server-start.sh config/server.properties

所有服务成功启动后,会拥有一个正在运行并可供使用的基本 Kafka 环境。

注意确保在 Kafka 的安装目录下运行 Kafka 命令,或者将 Kafka 的bin目录添加到系统的环境变量中,这样就可以在任意位置运行 Kafka 命令。

创建 topic

Kafka 是一个分布式事件流平台,它允许用户在多台机器上读取、写入、存储和处理事件(在文档中也称为记录或消息)。 事件包括支付交易、手机的地理位置更新、发货订单、来自物联网设备或医疗设备的传感器测量等等。这些事件被管理并存储在主题(topic)中。简单地说,topic 类似于文件系统中的文件夹,而事件则是该文件夹中的文件。 因此,在写入第一个事件之前,必须创建一个 topic。确保之前启动 ZooKeeper 和 Kafka 的终端不被关闭,再打开另一个终端会话并运行以下命令:

bin/kafka-topics.sh --create --topic test-events --bootstrap-server localhost:9092

这一步创建了一个名为 test-events 的 topic。接下来可以使用下面的命令来查看该 topic 的状态:

bin/kafka-topics.sh --describe --topic test-events --bootstrap-server localhost:9092

发送信息

Kafka 客户端通过网络与 Kafka brokers(服务器) 进行通信,用于写入(或读取)事件。运行控制台生产者客户端,将一些事件写入主题。默认情况下,输入的每一行将导致一个单独的事件被写入主题。

再打开一个新的终端,执行下列命令:

bin/kafka-console-producer.sh --topic test-events --bootstrap-server localhost:9092
Hello, Kafka
This is my first enent

可以随时使用 Ctrl + C 停止生产者客户端。

消费信息

打开另一个终端会话并运行控制台消费者客户端来读取刚刚创建的事件:

bin/kafka-console-consumer.sh --topic test-events --from-beginning --bootstrap-server localhost:9092

之前的命令都运行成功的话,可以看到上一步发送的两条消息。 可以随时使用 Ctrl + C 停止消费者客户端。

还可以尝试切换回生产者终端(上一步)编写其他事件,并查看事件是如何立即显示在消费者终端的。

由于事件持久存储在 Kafka 中,因此它们可以被任意数量的消费者读取任意多次。可以通过打开另一个终端会话再次运行本条命令来轻松验证这一点。

终止 Kafka 环境

现在就已经完成了快速入门,可以根据以下步骤终止 Kafka 环境。

  1. 使用 Ctrl + C 停止生产者和消费者客户端。
  2. 使用 Ctrl + C 停止 Kafka 服务器。
  3. 使用 Ctrl + C 停止 ZooKeeper 服务器。

如对本文内容有任何疑问、建议或意见,请联系作者,作者将尽力回复并改进📓;(联系微信:Solitudemind )


相关文章
|
1月前
|
消息中间件 安全 Kafka
Apache Kafka安全加固指南:保护你的消息传递系统
【10月更文挑战第24天】在现代企业环境中,数据的安全性和隐私保护至关重要。Apache Kafka作为一款广泛使用的分布式流处理平台,其安全性直接影响着业务的稳定性和用户数据的安全。作为一名资深的Kafka使用者,我深知加强Kafka安全性的重要性。本文将从个人角度出发,分享我在实践中积累的经验,帮助读者了解如何有效地保护Kafka消息传递系统的安全性。
88 7
|
4月前
|
消息中间件 Ubuntu Java
在Ubuntu 18.04上安装Apache Kafka的方法
在Ubuntu 18.04上安装Apache Kafka的方法
212 0
|
1月前
|
消息中间件 Java Kafka
初识Apache Kafka:搭建你的第一个消息队列系统
【10月更文挑战第24天】在数字化转型的浪潮中,数据成为了企业决策的关键因素之一。而高效的数据处理能力,则成为了企业在竞争中脱颖而出的重要武器。在这个背景下,消息队列作为连接不同系统和服务的桥梁,其重要性日益凸显。Apache Kafka 是一款开源的消息队列系统,以其高吞吐量、可扩展性和持久性等特点受到了广泛欢迎。作为一名技术爱好者,我对 Apache Kafka 产生了浓厚的兴趣,并决定亲手搭建一套属于自己的消息队列系统。
65 2
初识Apache Kafka:搭建你的第一个消息队列系统
|
1月前
|
消息中间件 Ubuntu Java
Ubuntu系统上安装Apache Kafka
Ubuntu系统上安装Apache Kafka
|
2月前
|
网络安全 开发工具 iOS开发
macOS 系统安装Python-nmap模块
macOS 系统安装Python-nmap模块
57 2
|
2月前
|
安全 网络安全 iOS开发
macOS系统安装NMAP扫描工具
macOS系统安装NMAP扫描工具
82 1
|
3月前
|
消息中间件 Java Linux
linux 之centos7安装kafka;;;;;待补充,未完成
linux 之centos7安装kafka;;;;;待补充,未完成
|
4月前
|
分布式计算 搜索推荐 物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
|
4月前
|
消息中间件 存储 Kafka
ZooKeeper助力Kafka:掌握这四大作用,让你的消息队列系统稳如老狗!
【8月更文挑战第24天】Kafka是一款高性能的分布式消息队列系统,其稳定运行很大程度上依赖于ZooKeeper提供的分布式协调服务。ZooKeeper在Kafka中承担了四大关键职责:集群管理(Broker的注册与选举)、主题与分区管理、领导者选举机制以及消费者组管理。通过具体的代码示例展示了这些功能的具体实现方式。
132 2
|
4月前
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
243 3

热门文章

最新文章

相关实验场景

更多