部署kafka集群到服务器

简介:

前面文章写道的是伪集群的部署,是在同一台服务器部署了四个kafka broker 实际上没有任何的高HA作用.现在来部署一个真正的kafka集群

  • 三台服务器,分别是106 107 108
    -现在已经部署的lafka在106上

-已经在106上启动了kafka服自带的zookeeper

  • 编辑106服务器的kafka server.properties
  1. conf/server.properties

    1. 修改broker.id=0
    2. 修改listeners=PLAINTEXT://0.0.0.0:9092
    3. 修改advertised.listeners=PLAINTEXT://xx.xx.xx.106:9092
    4. 修改 log.dirs=/usr/local/kafka/data/kafka-log
    5. 修改zookeeper.connect=xx.xx.xx.106:2181
      -拷贝106 上的kafka文件夹到107 108

scp -r /usr/local/kafka root@xx.xx.xx.107:/usr/local/
scp -r /usr/local/kafka root@xx.xx.xx.108:/usr/local/

  • 编辑107服务器的kafka server.properties
  1. conf/server.properties

    1. 修改broker.id=1
    2. 修改advertised.listeners=PLAINTEXT://xx.xx.xx.107:9092
  • 编辑108服务器的kafka server.properties
  1. conf/server.properties

    1. 修改broker.id=2
    2. 修改advertised.listeners=PLAINTEXT://xx.xx.xx.108:9092

-分别启动106 107 108 kafka
-查看106 zookeeper brokers/ids节点下是否有三个分区 分别是 0 1 2
0代表106
1代表107
2代表108
集群部署完毕,性能调优方面需要在熟悉server配置文件以后才可以进行

目录
相关文章
|
1月前
|
弹性计算 监控 负载均衡
|
1月前
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群:从理论到实践
【10月更文挑战第24天】随着大数据时代的到来,数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务,因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而,在构建大规模生产环境下的Kafka集群时,保证其高可用性是至关重要的。本文将从个人实践经验出发,详细介绍如何构建一个高可用性的Kafka集群,包括集群规划、节点配置以及故障恢复机制等方面。
76 4
|
27天前
|
弹性计算 开发工具 git
2分钟在阿里云ECS控制台部署个人应用(图文示例)
作为一名程序员,我在部署托管于Github/Gitee的代码到阿里云ECS服务器时,经常遇到繁琐的手动配置问题。近期,阿里云ECS控制台推出了一键构建部署功能,简化了这一过程,支持Gitee和GitHub仓库,自动处理git、docker等安装配置,无需手动登录服务器执行命令,大大提升了部署效率。本文将详细介绍该功能的使用方法和适用场景。
2分钟在阿里云ECS控制台部署个人应用(图文示例)
|
1月前
|
PHP 数据库 数据安全/隐私保护
布谷直播源码部署服务器关于数据库配置的详细说明
布谷直播系统源码搭建部署时数据库配置明细!
|
1月前
|
消息中间件 存储 Prometheus
Kafka集群如何配置高可用性
Kafka集群如何配置高可用性
|
2月前
|
关系型数据库 MySQL Linux
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
331 3
|
2月前
|
NoSQL Linux PHP
|
2月前
|
弹性计算 数据库连接 Nacos
阿里云ECS服务器在docker中部署nacos
docker pull nacos 失败,docker部署nacos遇到的问题,nacos数据库连接,nacos端口映射
137 1
|
数据采集 SQL 弹性计算
使用云服务器ECS部署了自己的第一个爬虫
云服务器部署爬虫爬取网站最新通告并推送
使用云服务器ECS部署了自己的第一个爬虫
|
20天前
|
人工智能 弹性计算 编解码
阿里云GPU云服务器性能、应用场景及收费标准和活动价格参考
GPU云服务器作为阿里云提供的一种高性能计算服务,通过结合GPU与CPU的计算能力,为用户在人工智能、高性能计算等领域提供了强大的支持。其具备覆盖范围广、超强计算能力、网络性能出色等优势,且计费方式灵活多样,能够满足不同用户的需求。目前用户购买阿里云gpu云服务器gn5 规格族(P100-16G)、gn6i 规格族(T4-16G)、gn6v 规格族(V100-16G)有优惠,本文为大家详细介绍阿里云gpu云服务器的相关性能及收费标准与最新活动价格情况,以供参考和选择。