部署kafka集群到服务器

简介:

前面文章写道的是伪集群的部署,是在同一台服务器部署了四个kafka broker 实际上没有任何的高HA作用.现在来部署一个真正的kafka集群

  • 三台服务器,分别是106 107 108
    -现在已经部署的lafka在106上

-已经在106上启动了kafka服自带的zookeeper

  • 编辑106服务器的kafka server.properties
  1. conf/server.properties

    1. 修改broker.id=0
    2. 修改listeners=PLAINTEXT://0.0.0.0:9092
    3. 修改advertised.listeners=PLAINTEXT://xx.xx.xx.106:9092
    4. 修改 log.dirs=/usr/local/kafka/data/kafka-log
    5. 修改zookeeper.connect=xx.xx.xx.106:2181
      -拷贝106 上的kafka文件夹到107 108

scp -r /usr/local/kafka root@xx.xx.xx.107:/usr/local/
scp -r /usr/local/kafka root@xx.xx.xx.108:/usr/local/

  • 编辑107服务器的kafka server.properties
  1. conf/server.properties

    1. 修改broker.id=1
    2. 修改advertised.listeners=PLAINTEXT://xx.xx.xx.107:9092
  • 编辑108服务器的kafka server.properties
  1. conf/server.properties

    1. 修改broker.id=2
    2. 修改advertised.listeners=PLAINTEXT://xx.xx.xx.108:9092

-分别启动106 107 108 kafka
-查看106 zookeeper brokers/ids节点下是否有三个分区 分别是 0 1 2
0代表106
1代表107
2代表108
集群部署完毕,性能调优方面需要在熟悉server配置文件以后才可以进行

目录
相关文章
|
1月前
|
弹性计算 监控 负载均衡
|
1月前
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群:从理论到实践
【10月更文挑战第24天】随着大数据时代的到来,数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务,因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而,在构建大规模生产环境下的Kafka集群时,保证其高可用性是至关重要的。本文将从个人实践经验出发,详细介绍如何构建一个高可用性的Kafka集群,包括集群规划、节点配置以及故障恢复机制等方面。
81 4
|
2月前
|
监控 安全 Linux
RHEL 环境下 Subversion 服务器部署与配置
【10月更文挑战第18天】在RHEL环境下部署Subversion服务器需依次完成安装Subversion、创建版本库、配置服务器、启动服务、客户端连接及备份维护等步骤。确保遵循安全最佳实践,保障数据安全。
102 1
|
1月前
|
弹性计算 开发工具 git
2分钟在阿里云ECS控制台部署个人应用(图文示例)
作为一名程序员,我在部署托管于Github/Gitee的代码到阿里云ECS服务器时,经常遇到繁琐的手动配置问题。近期,阿里云ECS控制台推出了一键构建部署功能,简化了这一过程,支持Gitee和GitHub仓库,自动处理git、docker等安装配置,无需手动登录服务器执行命令,大大提升了部署效率。本文将详细介绍该功能的使用方法和适用场景。
2分钟在阿里云ECS控制台部署个人应用(图文示例)
|
27天前
|
NoSQL 容灾 MongoDB
MongoDB主备副本集方案:两台服务器使用非对称部署的方式实现高可用与容灾备份
在资源受限的情况下,为了实现MongoDB的高可用性,本文探讨了两种在两台服务器上部署MongoDB的方案。方案一是通过主备身份轮换,即一台服务器作为主节点,另一台同时部署备节点和仲裁节点;方案二是利用`priority`设置实现自动主备切换。两者相比,方案二自动化程度更高,适合追求快速故障恢复的场景,而方案一则提供了更多的手动控制选项。文章最后对比了这两种方案与标准三节点副本集的优缺点,指出三节点方案在高可用性和数据一致性方面表现更佳。
|
1月前
|
PHP 数据库 数据安全/隐私保护
布谷直播源码部署服务器关于数据库配置的详细说明
布谷直播系统源码搭建部署时数据库配置明细!
|
1月前
|
消息中间件 存储 Prometheus
Kafka集群如何配置高可用性
Kafka集群如何配置高可用性
|
2月前
|
关系型数据库 MySQL Linux
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
361 3
|
2月前
|
NoSQL Linux PHP
|
2月前
|
弹性计算 数据库连接 Nacos
阿里云ECS服务器在docker中部署nacos
docker pull nacos 失败,docker部署nacos遇到的问题,nacos数据库连接,nacos端口映射
146 1