应用场景
按照Hadoop完全分布式安装Kafka博文搭建完Kafka2.11集群后,需要简单试用,来体会Kafka的工作原理,以及如何进行使用,感受分布式消息队列系统。
操作步骤
思路:搭建了三个节点的Kafka集群,在主节点创建一个topic,作为生产者,两个从节点作为消费者分别看看能否接收数据,进行验证
步骤一,在主节点执行
创建topic及查看topic命令
#查看所有topic命令如下
# kafka-topics.sh -list -zookeeper 192.168.210.70:2181,192.168.210.71:2181,192.168.210.72:2181
# (rf参数副本数,par参数分区数,xubin是topic的名称)创建topic命令如下
# kafka-topics.sh --create --zookeeper 192.168.210.70:2181,192.168.210.71:2181,192.168.210.72:2181 --replication-factor 3 --partitions 1 --topic xubin
在主节点查看topic,发现没有,进行创建topic为xubin,重新进行查看topic,发现存在了!
同理,一开始在从节点上看不到topic,当在主节点上创建了topic后,在从节点也能查到topic!
步骤二,在主节点创建生产者,在两个从节点分别创建消费者
开启生产者以及消费者
#开启生产者命令如下:
# kafka-console-producer.sh --broker-list 192.168.210.70:9092,192.168.210.71:9092,192.168.210.72:9092 --topic xubin
#开启生产者命令如下:
# kafka-console-consumer.sh --zookeeper 192.168.210.70:2181,192.168.210.71:2181,192.168.210.72:2181 --topic xubin --from-beginning 消费者
在主节点开启生产者:
在两个从节点分别开启消费者:
步骤三,在生产者中输入信息,看消费者中是否能拿到数据
生产者:
消费者: