Kafka部署

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 一 介绍Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,下载地址如下:https://www.apache.

一 介绍

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,下载地址如下:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz

二 启动

#启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
#更改配置
vi config/server.properties
#编辑内容如下
delete.topic.enable=true
listeners=PLAINTEXT://192.168.43.27:9092
#保存退出
#启动kafka服务端
bin/kafka-server-start.sh config/server.properties

三 创建主题

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
# 列出主题列表
bin/kafka-topics.sh --list --zookeeper localhost:2181
# 删除主题
bin/kafka-topics.sh  --delete --zookeeper 192.168.43.27:2181  --topic road

四 创建消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
#发送消息
This is a message

This is another message

五 接收消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

this is a message
this is a another message

六 遇到的问题

在生产消息时,发生如下问题:

WARN Error while fetching metadata with correlation id 1 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

查看日志如下:

Registered broker 0 at path /brokers/ids/0 with addresses: 
PLAINTEXT -> EndPoint(218.30.64.194,9092,PLAINTEXT) (kafka.utils.ZkUtils)  

ip是218.30.64.194不是localhost,没有绑定Kafka启动监听的host信息,只需更改配置文件绑定即可。

vi  config/server.properties
#修改配置如下:
#原配置:listeners=PLAINTEXT://:9092  
listeners=PLAINTEXT://localhost:9092  

重修启动zookeeper和kafka即可。

相关文章
|
10月前
|
消息中间件 存储 Kubernetes
Helm方式部署 zookeeper+kafka 集群 ——2023.05
Helm方式部署 zookeeper+kafka 集群 ——2023.05
391 0
|
消息中间件 存储 Kubernetes
K8S环境快速部署Kafka(K8S外部可访问)
本文通过实战展示了如何在K8S环境部署kafka集群,并且K8S环境外部也能使用此服务
2881 1
K8S环境快速部署Kafka(K8S外部可访问)
|
11天前
|
消息中间件 监控 Java
【一键解锁!】Kafka Manager 部署与测试终极指南 —— 从菜鸟到高手的必经之路!
【8月更文挑战第9天】随着大数据技术的发展,Apache Kafka 成为核心组件,用于处理实时数据流。Kafka Manager 提供了简洁的 Web 界面来管理和监控 Kafka 集群。本文介绍部署步骤及示例代码,助您快速上手。首先确认已安装 Java 和 Kafka。
50 4
|
13天前
|
消息中间件 Kafka Apache
部署安装kafka集群
部署安装kafka集群
|
3月前
|
消息中间件 Kafka
Kafka【部署 03】Zookeeper与Kafka自动部署脚本
【4月更文挑战第11天】Kafka【部署 03】Zookeeper与Kafka自动部署脚本
48 8
|
3月前
|
消息中间件 Kafka Docker
docker部署kafka
docker部署kafka
131 1
|
3月前
|
消息中间件 Kafka Docker
【消息中心】docker部署kafka
【消息中心】docker部署kafka
64 0
|
3月前
|
消息中间件 算法 Kafka
docker-compose部署kafka
docker-compose部署kafka
|
3月前
|
消息中间件 存储 Java
Kafka 部署教程
Kafka 部署教程
|
3月前
|
消息中间件 分布式计算 监控
腾讯技术官手撸笔记,全新演绎“Kafka部署实战”,已开源
我们知道,当下流行的MQ非常多,不过很多公司在技术选型上还是选择使用Kafka。与其他主流MQ进行对比,我们会发现Kafka最大的优点就是吞吐量高。实际上Kafka是高吞吐低延迟的高并发、高性能的消息中间件,配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。

热门文章

最新文章