环境篇之 kafka 集群测试|学习笔记

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 快速学习环境篇之 kafka 集群测试

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 kafka 集群测试】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10697


环境篇之 kafka 集群测试

内容介绍

一,集群启停

二,关闭集群

三,测试


一,集群启停

Kafka 严重依赖 zookeeper,所以在启动 kafka 之前,必须先启动 zookeeper 集群,不论是外部的还是 kafka 自带的都要启动。

[root@hadoop01 kafka_2.11-1.1.1]# zkServer.sh start

[root@hadoop02 kafka_2.11-1.1.1]# zkServer.sh start

[root@hadoop03 kafka_2.11-1.1.1]# zkServer.sh start

启动好之后,就可以开始启动 kafka 集群了。

Kafka 是挂在后台启动的,也可以不用这种方式,可以直接用这段/bin/kafka-server-start.sh./config/server.properties,是前端性的启动,输出信息会打印到屏幕上。依次每个节点启动 kafka 的 broker。

[root@hadoop01 kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh./config/server.properties >/var/log/kafka.log 2>&1 &

我们需要进到 kafka 的目录下面,因为bin这个环境变量是可以不用的,/config/server.properties 是需要的。

再到第二台去启动:

[root@hadoop02kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh./config/server.properties > /var/1og/kafka.1og 2>&1 &

再到第三台启动,所有的启动命令是一样的。

[root@hadoop03kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh/config/server.properties > /var/1og/kafka.1og 2>&1 &

输入[root@hadoop03 kafka_2.11-1.1.1]#jps 回车

可以看到 kafka。

再在第二台第一台依次验证,都没有问题。


二,关闭集群

法一:脚本

[root@hadoop01 kafka_2.11-1.1.1]# kafka-server-stop.sh

注:

法一有的版本需要修改停止脚本,原内容如下:

PIDS=S(ps ax | grep -i 'kafka\.Kafka'l grep java | grep -v grep |awk '{fprint s1}')

修改后如下:

PIDS=S(ps ax| grep -i 'kafka' | grep java |grep -v grep |awk ‘{print s1}')

法二:直接 kill -9 pid

[root@hadoop01 kafka_2.11-1.1.1]# jps

4262 Kafka

2713 QuorumPeerMain

4590 Jps

[root@hadoop01 kafka_2.11-1.1.1]# kill -9 4262

要想关闭它的话,可以用. /bin/kafka-server-stop.sh,也就是说前面本来有的 bin 是可以不要的,前提是在配置文件下。包括启动里面的 bin 都是可以去掉的。

第一种就是直接用脚本去填。但是在填的时候,1.1的源码里面的脚本是有问题的,如果直接填这个脚本是关闭不了集群的。所以需要填修改之后的。


三,测试

[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh

输入[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh --1ist --zookeeper hadoop01:2181/kafka

输入[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh --create--zookeeper hadoop01:2181,hadoop02:2181.hadoop03:2181/kafka -- rep1ication-factor 1 --partitions 1--topic test

这样就创建了一个 topic为test。就可以去使用控制台的生产者脚本,消费者脚本,这些在项目里直接用就可以了。

相关文章
|
4天前
|
机器学习/深度学习 自然语言处理 前端开发
前端神经网络入门:Brain.js - 详细介绍和对比不同的实现 - CNN、RNN、DNN、FFNN -无需准备环境打开浏览器即可测试运行-支持WebGPU加速
本文介绍了如何使用 JavaScript 神经网络库 **Brain.js** 实现不同类型的神经网络,包括前馈神经网络(FFNN)、深度神经网络(DNN)和循环神经网络(RNN)。通过简单的示例和代码,帮助前端开发者快速入门并理解神经网络的基本概念。文章还对比了各类神经网络的特点和适用场景,并简要介绍了卷积神经网络(CNN)的替代方案。
|
11天前
|
编解码 安全 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(10-2):保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali——Liinux-Debian:就怕你学成黑客啦!)作者——LJS
保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali以及常见的报错及对应解决方案、常用Kali功能简便化以及详解如何具体实现
|
28天前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
50 1
|
1月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
38 4
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
68 4
|
1月前
|
分布式计算 大数据 Spark
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(二)
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(二)
39 1
|
16天前
|
消息中间件 中间件 Kafka
解锁Kafka等消息队列中间件的测试之道
在这个数字化时代,分布式系统和消息队列中间件(如Kafka、RabbitMQ)已成为日常工作的核心组件。本次公开课由前字节跳动资深专家KK老师主讲,深入解析消息队列的基本原理、架构及测试要点,涵盖功能、性能、可靠性、安全性和兼容性测试,并探讨其主要应用场景,如应用解耦、异步处理和限流削峰。课程最后设有互动答疑环节,助你全面掌握消息队列的测试方法。
21 0
|
1月前
|
存储 大数据 Apache
大数据-146 Apache Kudu 安装运行 Dockerfile 模拟集群 启动测试
大数据-146 Apache Kudu 安装运行 Dockerfile 模拟集群 启动测试
21 0
|
1月前
|
存储 SQL 分布式计算
大数据-135 - ClickHouse 集群 - 数据类型 实际测试
大数据-135 - ClickHouse 集群 - 数据类型 实际测试
32 0
|
1月前
|
存储 SQL 分布式计算
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(一)
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(一)
37 0
下一篇
无影云桌面