环境篇之 kafka 集群测试|学习笔记

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
简介: 快速学习环境篇之 kafka 集群测试

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 kafka 集群测试】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10697


环境篇之 kafka 集群测试

内容介绍

一,集群启停

二,关闭集群

三,测试


一,集群启停

Kafka 严重依赖 zookeeper,所以在启动 kafka 之前,必须先启动 zookeeper 集群,不论是外部的还是 kafka 自带的都要启动。

[root@hadoop01 kafka_2.11-1.1.1]# zkServer.sh start

[root@hadoop02 kafka_2.11-1.1.1]# zkServer.sh start

[root@hadoop03 kafka_2.11-1.1.1]# zkServer.sh start

启动好之后,就可以开始启动 kafka 集群了。

Kafka 是挂在后台启动的,也可以不用这种方式,可以直接用这段/bin/kafka-server-start.sh./config/server.properties,是前端性的启动,输出信息会打印到屏幕上。依次每个节点启动 kafka 的 broker。

[root@hadoop01 kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh./config/server.properties >/var/log/kafka.log 2>&1 &

我们需要进到 kafka 的目录下面,因为bin这个环境变量是可以不用的,/config/server.properties 是需要的。

再到第二台去启动:

[root@hadoop02kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh./config/server.properties > /var/1og/kafka.1og 2>&1 &

再到第三台启动,所有的启动命令是一样的。

[root@hadoop03kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh/config/server.properties > /var/1og/kafka.1og 2>&1 &

输入[root@hadoop03 kafka_2.11-1.1.1]#jps 回车

可以看到 kafka。

再在第二台第一台依次验证,都没有问题。


二,关闭集群

法一:脚本

[root@hadoop01 kafka_2.11-1.1.1]# kafka-server-stop.sh

注:

法一有的版本需要修改停止脚本,原内容如下:

PIDS=S(ps ax | grep -i 'kafka\.Kafka'l grep java | grep -v grep |awk '{fprint s1}')

修改后如下:

PIDS=S(ps ax| grep -i 'kafka' | grep java |grep -v grep |awk ‘{print s1}')

法二:直接 kill -9 pid

[root@hadoop01 kafka_2.11-1.1.1]# jps

4262 Kafka

2713 QuorumPeerMain

4590 Jps

[root@hadoop01 kafka_2.11-1.1.1]# kill -9 4262

要想关闭它的话,可以用. /bin/kafka-server-stop.sh,也就是说前面本来有的 bin 是可以不要的,前提是在配置文件下。包括启动里面的 bin 都是可以去掉的。

第一种就是直接用脚本去填。但是在填的时候,1.1的源码里面的脚本是有问题的,如果直接填这个脚本是关闭不了集群的。所以需要填修改之后的。


三,测试

[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh

输入[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh --1ist --zookeeper hadoop01:2181/kafka

输入[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh --create--zookeeper hadoop01:2181,hadoop02:2181.hadoop03:2181/kafka -- rep1ication-factor 1 --partitions 1--topic test

这样就创建了一个 topic为test。就可以去使用控制台的生产者脚本,消费者脚本,这些在项目里直接用就可以了。

相关文章
|
2月前
|
消息中间件 测试技术
项目环境测试问题之规范执行器的异常处理如何解决
项目环境测试问题之规范执行器的异常处理如何解决
|
9天前
|
JavaScript 测试技术 Windows
vue配置webpack生产环境.env.production、测试环境.env.development(配置不同环境的打包访问地址)
本文介绍了如何使用vue-cli和webpack为Vue项目配置不同的生产和测试环境,包括修改`package.json`脚本、使用`cross-env`处理环境变量、创建不同环境的`.env`文件,并在`webpack.prod.conf.js`中使用`DefinePlugin`来应用这些环境变量。
24 2
vue配置webpack生产环境.env.production、测试环境.env.development(配置不同环境的打包访问地址)
ACE
|
21天前
|
SQL 分布式计算 数据处理
如何创建2024云栖Openlake测试项目和配置环境
2024年云栖大会,MaxCompute 多项重磅产品新功能邀测发布,新特性包括 支持OpenLake的湖仓一体2.0、Object Table支持SQL或MaxFrame处理非结构化数据、Delta Table增量表格式、基于增量物化视图的增量计算、MCQA2.0 SQL引擎查询加速等。其相关特性将在中国区 公共云 北京、上海、杭州、深圳Region 上线开放试用。本文以最佳实践的方式,帮助您创建MaxCompute和周边产品 在Openlake解决方案demo中需要准备的实例、项目和开发环境,并完成配置。欢迎您玩转云栖邀测demo,体验新功能。
ACE
270 7
|
10天前
|
Web App开发 Linux Python
linux上安装selenium环境及测试
该文章提供了在Linux CentOS上安装Selenium环境、Chrome浏览器及Chromedriver的详细步骤,并演示了如何以无头模式进行测试。
27 0
|
1月前
|
Kubernetes Linux API
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
该博客文章详细介绍了在CentOS 7.6操作系统上使用kubeadm工具部署kubernetes 1.17.2版本的测试集群的过程,包括主机环境准备、安装Docker、配置kubelet、初始化集群、添加节点、部署网络插件以及配置k8s node节点管理api server服务器。
62 0
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
|
2月前
|
消息中间件 Kafka 测试技术
【Kafka揭秘】Leader选举大揭秘!如何打造一个不丢失消息的强大Kafka集群?
【8月更文挑战第24天】Apache Kafka是一款高性能分布式消息系统,利用分区机制支持数据并行处理。每个分区含一个Leader处理所有读写请求,并可有多个副本确保数据安全与容错。关键的Leader选举机制保障了系统的高可用性和数据一致性。选举发生于分区创建、Leader故障或被手动移除时。Kafka提供多种选举策略:内嵌机制自动选择最新数据副本为新Leader;Unclean选举快速恢复服务但可能丢失数据;Delayed Unclean选举则避免短暂故障下的Unclean选举;Preferred选举允许基于性能或地理位置偏好指定特定副本为首选Leader。
45 5
|
17天前
|
存储 监控 安全
在自动化测试环境中,如何确保测试数据的安全性和隐私性
在自动化测试环境中,如何确保测试数据的安全性和隐私性
|
2月前
|
消息中间件 监控 Java
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
|
2月前
|
消息中间件 监控 Java
【Kafka节点存活大揭秘】如何让Kafka集群时刻保持“心跳”?探索Broker、Producer和Consumer的生死关头!
【8月更文挑战第24天】在分布式系统如Apache Kafka中,确保节点的健康运行至关重要。Kafka通过Broker、Producer及Consumer间的交互实现这一目标。文章介绍Kafka如何监测节点活性,包括心跳机制、会话超时与故障转移策略。示例Java代码展示了Producer如何通过定期发送心跳维持与Broker的连接。合理配置这些机制能有效保障Kafka集群的稳定与高效运行。
38 2
|
2月前
|
资源调度 Java 调度
项目环境测试问题之Schedulerx2.0通过分布式分片任务解决单机计算瓶颈如何解决
项目环境测试问题之Schedulerx2.0通过分布式分片任务解决单机计算瓶颈如何解决
项目环境测试问题之Schedulerx2.0通过分布式分片任务解决单机计算瓶颈如何解决

热门文章

最新文章

下一篇
无影云桌面