115 Kafka集群部署

简介: 115 Kafka集群部署

1.集群部署的基本流程

下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

2.集群部署的基础环境准备

安装前的准备工作(zk集群已经部署完毕)

  • 关闭防火墙
chkconfig iptables off  && setenforce 0
  • 创建用户
groupadd realtime && useradd realtime && usermod -a -G realtime realtime
  • 创建工作目录并赋权
mkdir /export
mkdir /export/servers
chmod 755 -R /export
  • 切换到realtime用户下
su realtime

3.Kafka集群部署

1、下载安装包

http://kafka.apache.org/downloads.html

在linux中使用wget命令下载安装包

wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz

2、解压安装包

tar -zxvf /export/software/kafka_2.11-0.8.2.2.tgz -C /export/servers/
cd /export/servers/
ln -s kafka_2.11-0.8.2.2 kafka

3、修改配置文件

cp   /export/servers/kafka/config/server.properties
/export/servers/kafka/config/server.properties.bak
vi  /export/servers/kafka/config/server.properties

输入以下内容:

4、分发安装包

scp -r /export/servers/kafka_2.11-0.8.2.2 kafka02:/export/servers

然后分别在各机器上创建软连

cd /export/servers/
ln -s kafka_2.11-0.8.2.2 kafka

5、再次修改配置文件

依次修改各服务器上配置文件的的 broker.id,分别是0,1,2不得重复。

6、启动集群

依次在各节点上启动kafka

bin/kafka-server-start.sh  config/server.properties



目录
相关文章
|
3月前
|
消息中间件 Kafka
一文吃透企业级elk技术栈:4. kafka 集群部署
一文吃透企业级elk技术栈:4. kafka 集群部署
|
6月前
|
消息中间件 存储 Java
分布式实时消息队列Kafka(二)Kafka分布式集群部署
分布式实时消息队列Kafka(二)Kafka分布式集群部署
208 0
|
消息中间件 存储 分布式计算
Kafka集群部署
Kafka集群部署
Kafka集群部署
|
消息中间件 Kafka Apache
Kafka3.0集群部署(内附zookeeper3.5.7集群部署)
Kafka3.0集群部署(内附zookeeper3.5.7集群部署)
193 0
|
消息中间件 存储 分布式计算
消息队列KafKa的集群部署
🍅程序员小王的博客:程序员小王的博客 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 如有编辑错误联系作者,如果有比较好的文章欢迎分享给我,我会取其精华去其糟粕 🍅java自学的学习路线:java自学的学习路线
306 0
消息队列KafKa的集群部署
|
消息中间件 存储 算法
【Kafka SASL/SCRAM动态认证集群部署
【Kafka SASL/SCRAM动态认证集群部署
1162 0
|
消息中间件 安全 Kafka
Kafka SASL集群部署
Kafka SASL集群部署
268 0
|
存储 消息中间件 负载均衡
zookeeper集群 +kafka 集群部署(上)
Zookeeper 定义 zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目 Zookeeper 工作机制 Zookeeper是–个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册, 一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些客户端做出相应的反应。 也就是说Zookeeper =文件系统+通知机制
zookeeper集群 +kafka 集群部署(上)
|
消息中间件 存储 分布式计算
zookeeper集群 +kafka 集群部署(下)
为什么需要消息列队(MQ)   主要原因是由于在高并发环境下,同步请求来不及处理,请求往往会发生阻塞。比如大量的请求并发访问数据库,导致行锁表锁,最后请求线程会堆积过多,从而触发 too many connection 错误,引发雪崩效应。 我们使用消息队列,通过异步处理请求,从而缓解系统的压力。消息队列常应用于异步处理,流量削峰,应用解耦,消息通讯等场景。 当前比较常见的 MQ 中间件有 ActiveMQ、RabbitMQ、RocketMQ、Kafka 等
zookeeper集群 +kafka 集群部署(下)
|
消息中间件 Kafka
Kafka集群部署
Kafka集群部署
139 0