环境篇之 kafka 集群测试|学习笔记

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 快速学习环境篇之 kafka 集群测试

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 kafka 集群测试】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10697


环境篇之 kafka 集群测试

内容介绍

一,集群启停

二,关闭集群

三,测试


一,集群启停

Kafka 严重依赖 zookeeper,所以在启动 kafka 之前,必须先启动 zookeeper 集群,不论是外部的还是 kafka 自带的都要启动。

[root@hadoop01 kafka_2.11-1.1.1]# zkServer.sh start

[root@hadoop02 kafka_2.11-1.1.1]# zkServer.sh start

[root@hadoop03 kafka_2.11-1.1.1]# zkServer.sh start

启动好之后,就可以开始启动 kafka 集群了。

Kafka 是挂在后台启动的,也可以不用这种方式,可以直接用这段/bin/kafka-server-start.sh./config/server.properties,是前端性的启动,输出信息会打印到屏幕上。依次每个节点启动 kafka 的 broker。

[root@hadoop01 kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh./config/server.properties >/var/log/kafka.log 2>&1 &

我们需要进到 kafka 的目录下面,因为bin这个环境变量是可以不用的,/config/server.properties 是需要的。

再到第二台去启动:

[root@hadoop02kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh./config/server.properties > /var/1og/kafka.1og 2>&1 &

再到第三台启动,所有的启动命令是一样的。

[root@hadoop03kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh/config/server.properties > /var/1og/kafka.1og 2>&1 &

输入[root@hadoop03 kafka_2.11-1.1.1]#jps 回车

可以看到 kafka。

再在第二台第一台依次验证,都没有问题。


二,关闭集群

法一:脚本

[root@hadoop01 kafka_2.11-1.1.1]# kafka-server-stop.sh

注:

法一有的版本需要修改停止脚本,原内容如下:

PIDS=S(ps ax | grep -i 'kafka\.Kafka'l grep java | grep -v grep |awk '{fprint s1}')

修改后如下:

PIDS=S(ps ax| grep -i 'kafka' | grep java |grep -v grep |awk ‘{print s1}')

法二:直接 kill -9 pid

[root@hadoop01 kafka_2.11-1.1.1]# jps

4262 Kafka

2713 QuorumPeerMain

4590 Jps

[root@hadoop01 kafka_2.11-1.1.1]# kill -9 4262

要想关闭它的话,可以用. /bin/kafka-server-stop.sh,也就是说前面本来有的 bin 是可以不要的,前提是在配置文件下。包括启动里面的 bin 都是可以去掉的。

第一种就是直接用脚本去填。但是在填的时候,1.1的源码里面的脚本是有问题的,如果直接填这个脚本是关闭不了集群的。所以需要填修改之后的。


三,测试

[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh

输入[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh --1ist --zookeeper hadoop01:2181/kafka

输入[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh --create--zookeeper hadoop01:2181,hadoop02:2181.hadoop03:2181/kafka -- rep1ication-factor 1 --partitions 1--topic test

这样就创建了一个 topic为test。就可以去使用控制台的生产者脚本,消费者脚本,这些在项目里直接用就可以了。

相关文章
|
18天前
|
机器学习/深度学习 自然语言处理 前端开发
前端神经网络入门:Brain.js - 详细介绍和对比不同的实现 - CNN、RNN、DNN、FFNN -无需准备环境打开浏览器即可测试运行-支持WebGPU加速
本文介绍了如何使用 JavaScript 神经网络库 **Brain.js** 实现不同类型的神经网络,包括前馈神经网络(FFNN)、深度神经网络(DNN)和循环神经网络(RNN)。通过简单的示例和代码,帮助前端开发者快速入门并理解神经网络的基本概念。文章还对比了各类神经网络的特点和适用场景,并简要介绍了卷积神经网络(CNN)的替代方案。
|
1月前
|
测试技术
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
本文介绍了如何使用Pytest和Allure生成自动化测试报告。通过安装allure-pytest和配置环境,可以生成包含用例描述、步骤、等级等详细信息的美观报告。文章还提供了代码示例和运行指南,以及重构项目时的注意事项。
204 1
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
|
25天前
|
编解码 安全 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(10-2):保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali——Liinux-Debian:就怕你学成黑客啦!)作者——LJS
保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali以及常见的报错及对应解决方案、常用Kali功能简便化以及详解如何具体实现
|
1月前
|
测试技术 Python
自动化测试项目学习笔记(四):Pytest介绍和使用
本文是关于自动化测试框架Pytest的介绍和使用。Pytest是一个功能丰富的Python测试工具,支持参数化、多种测试类型,并拥有众多第三方插件。文章讲解了Pytest的编写规则、命令行参数、执行测试、参数化处理以及如何使用fixture实现测试用例间的调用。此外,还提供了pytest.ini配置文件示例。
34 2
|
1月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
61 1
|
1月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
41 4
|
1月前
|
测试技术 Python
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
本文主要介绍了自动化测试中setup、teardown、断言方法的使用,以及unittest框架中setUp、tearDown、setUpClass和tearDownClass的区别和应用。
64 0
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
|
30天前
|
消息中间件 中间件 Kafka
解锁Kafka等消息队列中间件的测试之道
在这个数字化时代,分布式系统和消息队列中间件(如Kafka、RabbitMQ)已成为日常工作的核心组件。本次公开课由前字节跳动资深专家KK老师主讲,深入解析消息队列的基本原理、架构及测试要点,涵盖功能、性能、可靠性、安全性和兼容性测试,并探讨其主要应用场景,如应用解耦、异步处理和限流削峰。课程最后设有互动答疑环节,助你全面掌握消息队列的测试方法。
|
1月前
|
存储 大数据 Apache
大数据-146 Apache Kudu 安装运行 Dockerfile 模拟集群 启动测试
大数据-146 Apache Kudu 安装运行 Dockerfile 模拟集群 启动测试
23 0
|
1月前
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
下一篇
无影云桌面