环境篇之 kafka 集群测试|学习笔记

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 快速学习环境篇之 kafka 集群测试

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 kafka 集群测试】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10697


环境篇之 kafka 集群测试

内容介绍

一,集群启停

二,关闭集群

三,测试


一,集群启停

Kafka 严重依赖 zookeeper,所以在启动 kafka 之前,必须先启动 zookeeper 集群,不论是外部的还是 kafka 自带的都要启动。

[root@hadoop01 kafka_2.11-1.1.1]# zkServer.sh start

[root@hadoop02 kafka_2.11-1.1.1]# zkServer.sh start

[root@hadoop03 kafka_2.11-1.1.1]# zkServer.sh start

启动好之后,就可以开始启动 kafka 集群了。

Kafka 是挂在后台启动的,也可以不用这种方式,可以直接用这段/bin/kafka-server-start.sh./config/server.properties,是前端性的启动,输出信息会打印到屏幕上。依次每个节点启动 kafka 的 broker。

[root@hadoop01 kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh./config/server.properties >/var/log/kafka.log 2>&1 &

我们需要进到 kafka 的目录下面,因为bin这个环境变量是可以不用的,/config/server.properties 是需要的。

再到第二台去启动:

[root@hadoop02kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh./config/server.properties > /var/1og/kafka.1og 2>&1 &

再到第三台启动,所有的启动命令是一样的。

[root@hadoop03kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh/config/server.properties > /var/1og/kafka.1og 2>&1 &

输入[root@hadoop03 kafka_2.11-1.1.1]#jps 回车

可以看到 kafka。

再在第二台第一台依次验证,都没有问题。


二,关闭集群

法一:脚本

[root@hadoop01 kafka_2.11-1.1.1]# kafka-server-stop.sh

注:

法一有的版本需要修改停止脚本,原内容如下:

PIDS=S(ps ax | grep -i 'kafka\.Kafka'l grep java | grep -v grep |awk '{fprint s1}')

修改后如下:

PIDS=S(ps ax| grep -i 'kafka' | grep java |grep -v grep |awk ‘{print s1}')

法二:直接 kill -9 pid

[root@hadoop01 kafka_2.11-1.1.1]# jps

4262 Kafka

2713 QuorumPeerMain

4590 Jps

[root@hadoop01 kafka_2.11-1.1.1]# kill -9 4262

要想关闭它的话,可以用. /bin/kafka-server-stop.sh,也就是说前面本来有的 bin 是可以不要的,前提是在配置文件下。包括启动里面的 bin 都是可以去掉的。

第一种就是直接用脚本去填。但是在填的时候,1.1的源码里面的脚本是有问题的,如果直接填这个脚本是关闭不了集群的。所以需要填修改之后的。


三,测试

[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh

输入[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh --1ist --zookeeper hadoop01:2181/kafka

输入[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh --create--zookeeper hadoop01:2181,hadoop02:2181.hadoop03:2181/kafka -- rep1ication-factor 1 --partitions 1--topic test

这样就创建了一个 topic为test。就可以去使用控制台的生产者脚本,消费者脚本,这些在项目里直接用就可以了。

相关文章
|
1天前
|
消息中间件 Java Kafka
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
本文介绍了Kafka集群的搭建过程,涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构,包括三台Kafka Broker节点,并说明了分布式环境下的服务进程配置。接着,通过VMware导入模板机并克隆出三台虚拟机(kafka-broker1、kafka-broker2、kafka-broker3),分别设置IP地址和主机名。随后,依次安装JDK、ZooKeeper和Kafka,并配置相应的环境变量与启动脚本,确保各组件能正常运行。最后,通过编写启停脚本简化集群的操作流程,并对集群进行测试,验证其功能完整性。整个过程强调了自动化脚本的应用,提高了部署效率。
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
|
26天前
|
机器学习/深度学习 人工智能 算法
BALROG:基准测试工具,用于评估 LLMs 和 VLMs 在复杂动态环境中的推理能力
BALROG 是一款用于评估大型语言模型(LLMs)和视觉语言模型(VLMs)在复杂动态环境中推理能力的基准测试工具。它通过一系列挑战性的游戏环境,如 NetHack,测试模型的规划、空间推理和探索能力。BALROG 提供了一个开放且细粒度的评估框架,推动了自主代理研究的进展。
37 3
BALROG:基准测试工具,用于评估 LLMs 和 VLMs 在复杂动态环境中的推理能力
|
1月前
|
缓存 Ubuntu Linux
Linux环境下测试服务器的DDR5内存性能
通过使用 `memtester`和 `sysbench`等工具,可以有效地测试Linux环境下服务器的DDR5内存性能。这些工具不仅可以评估内存的读写速度,还可以检测内存中的潜在问题,帮助确保系统的稳定性和性能。通过合理配置和使用这些工具,系统管理员可以深入了解服务器内存的性能状况,为系统优化提供数据支持。
38 4
|
1月前
|
机器学习/深度学习 自然语言处理 前端开发
前端神经网络入门:Brain.js - 详细介绍和对比不同的实现 - CNN、RNN、DNN、FFNN -无需准备环境打开浏览器即可测试运行-支持WebGPU加速
本文介绍了如何使用 JavaScript 神经网络库 **Brain.js** 实现不同类型的神经网络,包括前馈神经网络(FFNN)、深度神经网络(DNN)和循环神经网络(RNN)。通过简单的示例和代码,帮助前端开发者快速入门并理解神经网络的基本概念。文章还对比了各类神经网络的特点和适用场景,并简要介绍了卷积神经网络(CNN)的替代方案。
127 1
|
2月前
|
测试技术
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
本文介绍了如何使用Pytest和Allure生成自动化测试报告。通过安装allure-pytest和配置环境,可以生成包含用例描述、步骤、等级等详细信息的美观报告。文章还提供了代码示例和运行指南,以及重构项目时的注意事项。
280 1
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
|
1月前
|
编解码 安全 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(10-2):保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali——Liinux-Debian:就怕你学成黑客啦!)作者——LJS
保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali以及常见的报错及对应解决方案、常用Kali功能简便化以及详解如何具体实现
|
2月前
|
测试技术 Python
自动化测试项目学习笔记(四):Pytest介绍和使用
本文是关于自动化测试框架Pytest的介绍和使用。Pytest是一个功能丰富的Python测试工具,支持参数化、多种测试类型,并拥有众多第三方插件。文章讲解了Pytest的编写规则、命令行参数、执行测试、参数化处理以及如何使用fixture实现测试用例间的调用。此外,还提供了pytest.ini配置文件示例。
56 2
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
80 1
|
2月前
|
测试技术 Python
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
本文主要介绍了自动化测试中setup、teardown、断言方法的使用,以及unittest框架中setUp、tearDown、setUpClass和tearDownClass的区别和应用。
82 0
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
|
2月前
|
消息中间件 中间件 Kafka
解锁Kafka等消息队列中间件的测试之道
在这个数字化时代,分布式系统和消息队列中间件(如Kafka、RabbitMQ)已成为日常工作的核心组件。本次公开课由前字节跳动资深专家KK老师主讲,深入解析消息队列的基本原理、架构及测试要点,涵盖功能、性能、可靠性、安全性和兼容性测试,并探讨其主要应用场景,如应用解耦、异步处理和限流削峰。课程最后设有互动答疑环节,助你全面掌握消息队列的测试方法。