kafka集群的搭建-阿里云开发者社区

开发者社区> 大数据> 正文

kafka集群的搭建

简介:

本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容:

  • 基础环境安装
  • zookeeper集群的搭建
  • kafka集群的搭建
  • hadoop/hbase集群的搭建
  • spark集群的搭建
  • flink集群的搭建
  • elasticsearch集群的搭建
  • alluxio集群的搭建

1.kafak简介

Kafka是一个分布式、分区的、多副本的、多订阅者的消息队列,以高吞吐量著称,主要用于实时数据的传输和处理,总体架构如下

 

更多内容请阅读官网 http://kafka.apache.org/documentation.html#introduction

2.kafka安装

  • 下载

地址:http://kafka.apache.org/downloads,选择kafka_2.11-0.10.2.1.tgz版本

  • 解压安装

本文环境列表

直接在服务器10.20.112.59上解压

1
2
3
cd ~
tar -zxvf kafka_2.11-0.10.2.1.tgz.gz
mv  kafka_2.11-0.10.2.1 kafka
  •  配置更改

编辑kafka server配置文件
vi /wls/oracle/kafka/config/server.properties
主要是如下几项:

kafka集群
修改server.properties
不同集群broker.id 和host.name 不一样,根据实际情况配置。
修改默认配置文件中的
broker.id(每台服务器均不同)
port(如果是伪集群,则端口号需要改变)
host.name
advertised.host.name
zookeeper.connect(所有集群的ip均需要说明)
log.dirs

以服务器SZB-L0045546,则其server.properties需更改的配置如下:

复制代码
复制代码
broker.id=1
port=9092
host.name=SZB-L0045546
advertised.host.name=10.20.112.59
zookeeper.connection=SZB-L0045546:2181,SZB-L0045551:2181,SZB-L0045552:2181/kafka
log.dirs=/wls/oracle/bigdata/kafka/kafka-logs-1,/wls/oracle/bigdata/kafka/kafka-logs-2,/wls/oracle/bigdata/kafka/kafka-logs-3
复制代码
复制代码

而集群另外4台服务器中的broker.id、host.name,advertised.host.name和SZB-L0045546的保持不同即可。同时集群中的服务器需要为kafka日志建立相关目录

mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-1
mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-2
mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-3
  • 启动和验证
依次启动集群中的kafka,执行脚本如下: 
cd wls/oracle/bigdata/kafka/logs
nohup /wls/oracle/kafka/bin/kafka-server-start.sh /wls/oracle/kafka/config/server.properties >> /wls/oracle/bigdata/kafka/logs/kafka.out 2&1 &

创建topic

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka
 --create --topic TEST --replication-factor 2 --partitions 3

显示创建的topic

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka
 --list

向TEST中写入消息

/wls/oracle/kafka/bin/kafka-console-producer.sh --broker-list 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka
 --topic TEST

从topic TEST中消费数据

/wls/oracle/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka
 --topic TEST --from-beginning



 
分类: 软件设计
 
 
本文转自左正博客园博客,原文链接:http://www.cnblogs.com/soundcode/p/7151993.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章