【大数据环境准备】(五)kafka安装

简介: kafka安装

1、解压复制文件

[centos@hadoop10 module]$ mv kafka_2.12-3.0.0/ /data/module/kafka

[centos@hadoop10 kafka]$ vim ./config/server.properties
设置文件目录
[centos@hadoop10 kafka]$ mkdir datas

2、更改配置目录

路径 :data/module/kafka/config/server.properties

log.dirs=/data/module/kafka/datasck

zookeeper.connect=hadoop10:2181,hadoop11:2181,hadoop12:2181/kafka

num.partitions=1 //区分机器

3、设置环境变量

[centos@hadoop10 bin]$ vim /etc/profile.d/my_env.sh

KAFKA_HOME

export KAFKA_HOME=/data/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

4、分发配置

xsync kafka

5、批量启停文件

[atguigu@hadoop102 bin]$ vim kf.sh
脚本如下:
#! /bin/bash

case $1 in
"start"){
    for i in hadoop10 hadoop11 hadoop12
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/data/module/kafka/bin/kafka-server-start.sh -daemon /data/module/kafka/config/server.properties"
    done
};;
"stop"){
    for i in hadoop10 hadoop11 hadoop12
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/data/module/kafka/bin/kafka-server-stop.sh "
    done
};;
esac

6、问题

可能出现的第一种错误发生以下错误:

[2023-08-19 08:21:00,955] INFO [ReplicaManager broker=0] Shut down completely (kafka.server.ReplicaManager)
[2023-08-19 08:21:00,955] INFO [BrokerToControllerChannelManager broker=0 name=alterIsr]: Shutting down (kafka.server.BrokerToControllerRequestThread)
[2023-08-19 08:21:00,955] INFO [BrokerToControllerChannelManager broker=0 name=alterIsr]: Stopped (kafka.server.BrokerToControllerRequestThread)
[2023-08-19 08:21:00,956] INFO [BrokerToControllerChannelManager broker=0 name=alterIsr]: Shutdown completed (kafka.server.BrokerToControllerRequestThread)
[2023-08-19 08:21:00,963] INFO Broker to controller channel manager for alterIsr shutdown (kafka.server.BrokerToControllerChannelManagerImpl)
[2023-08-19 08:21:00,964] INFO [BrokerToControllerChannelManager broker=0 name=forwarding]: Shutting down (kafka.server.BrokerToControllerRequestThread)
[2023-08-19 08:21:00,965] INFO [BrokerToControllerChannelManager broker=0 name=forwarding]: Stopped (kafka.server.BrokerToControllerRequestThread)
[2023-08-19 08:21:00,965] INFO [BrokerToControllerChannelManager broker=0 name=forwarding]: Shutdown completed (kafka.server.BrokerToControllerRequestThread)
[2023-08-19 08:21:00,966] INFO Broker to controller channel manager for forwarding shutdown (kafka.server.BrokerToControllerChannelManagerImpl)
[2023-08-19 08:21:00,966] INFO Shutting down. (kafka.log.LogManager)
[2023-08-19 08:21:00,993] INFO Shutdown complete. (kafka.log.LogManager)
[2023-08-19 08:21:00,995] INFO [feature-zk-node-event-process-thread]: Shutting down (kafka.server.FinalizedFeatureChangeListener$ChangeNotificationProcessorThread)
[2023-08-19 08:21:01,008] INFO [feature-zk-node-event-process-thread]: Stopped (kafka.server.FinalizedFeatureChangeListener$ChangeNotificationProcessorThread)
[2023-08-19 08:21:01,009] INFO [feature-zk-node-event-process-thread]: Shutdown completed (kafka.server.FinalizedFeatureChangeListener$ChangeNotificationProcessorThread)
[2023-08-19 08:21:01,010] INFO [ZooKeeperClient Kafka server] Closing. (kafka.zookeeper.ZooKeeperClient)
[2023-08-19 08:21:01,013] WARN An exception was thrown while closing send thread for session 0x1000069232f0004. (org.apache.zookeeper.ClientCnxn)
EndOfStreamException: Unable to read additional data from server sessionid 0x1000069232f0004, likely server has closed socket
    at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:77)
    at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350)
    at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1290)
[2023-08-19 08:21:01,115] INFO Session: 0x1000069232f0004 closed (org.apache.zookeeper.ZooKeeper)
[2023-08-19 08:21:01,115] INFO EventThread shut down for session: 0x1000069232f0004 (org.apache.zookeeper.ClientCnxn)
[2023-08-19 08:21:01,115] INFO [ZooKeeperClient Kafka server] Closed. (kafka.zookeeper.ZooKeeperClient)

原因 kafka server.properties配置配做 broker.id=1 broker.id=2 清空/datas

第二种错误:

could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient

关闭防火墙 systemctl stop firewalld

相关文章
|
5月前
|
数据采集 搜索推荐 Java
Java 大视界 -- Java 大数据在智能教育虚拟学习环境构建与用户体验优化中的应用(221)
本文探讨 Java 大数据在智能教育虚拟学习环境中的应用,涵盖多源数据采集、个性化推荐、实时互动优化等核心技术,结合实际案例分析其在提升学习体验与教学质量中的成效,并展望未来发展方向与技术挑战。
|
3月前
|
消息中间件 Kafka Linux
Linux下安装Kafka 3.9.1
本文介绍Kafka 3.9.1版本的安装与配置,包括通过ZooKeeper或KRaft模式启动Kafka。涵盖环境变量设置、日志路径修改、集群UUID生成、存储格式化及服务启停操作,适用于Linux环境下的部署实践。
474 0
|
5月前
|
传感器 分布式计算 大数据
“用大数据盯着天看地”——聊聊环境监测的精准化升级
“用大数据盯着天看地”——聊聊环境监测的精准化升级
152 0
|
6月前
|
传感器 机器学习/深度学习 算法
Java 大视界 -- Java 大数据在智能农业温室环境调控与作物生长模型构建中的应用(189)
本文探讨了Java大数据在智能农业温室环境调控与作物生长模型构建中的关键应用。通过高效采集、传输与处理温室环境数据,结合机器学习算法,实现温度、湿度、光照等参数的智能调控,提升作物产量与品质。同时,融合多源数据构建精准作物生长模型,助力农业智能化、精细化发展,推动农业现代化进程。
|
11月前
|
消息中间件 Kafka Docker
docker compose 安装 kafka
通过本文的步骤,您可以快速在本地使用 Docker Compose 安装并配置 Kafka 和 Zookeeper。Docker Compose 简化了多容器应用的管理,方便快速搭建和测试分布式系统。
1549 2
|
消息中间件 Java Kafka
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
本文介绍了Kafka集群的搭建过程,涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构,包括三台Kafka Broker节点,并说明了分布式环境下的服务进程配置。接着,通过VMware导入模板机并克隆出三台虚拟机(kafka-broker1、kafka-broker2、kafka-broker3),分别设置IP地址和主机名。随后,依次安装JDK、ZooKeeper和Kafka,并配置相应的环境变量与启动脚本,确保各组件能正常运行。最后,通过编写启停脚本简化集群的操作流程,并对集群进行测试,验证其功能完整性。整个过程强调了自动化脚本的应用,提高了部署效率。
3052 1
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
|
存储 大数据 数据处理
大数据环境下的性能优化策略
大数据环境下的性能优化策略
521 2
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
229 3
|
消息中间件 分布式计算 druid
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
243 1

热门文章

最新文章