开发者学堂课程【大数据实时计算框架 Spark 快速入门:Kafka 的安装及测试_2】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/100/detail/1728
Kafka 的安装及测试_2
内容简介:
一、Kafka 创建
二、查看
三、添加数据
[root@node21 kafka_2.10-0.8.2.1]# bash startkafka.sh 启动脚本,有的可能刚开始可以启动,不久后启动失败,所以需要多启动几次,如果一直在,说明启动成功。
一、创建
1.[root@node21 kafka_2.10-0.8.2.1]# 11 bin/
2.[root@node21 kafka_2.10-0.8.2.1]# ./bin/kafka-topics.sh 获取提示;
3.[root@node21 kafka_2.10-0.8.2.1]# ./bin/kafka-topics.sh create 创建(提示显示需要加“--”);
4.[root@node21 kafka_2.10-0.8.2.1]# ./bin/kafka-topics.sh --create(提示显示需要 zookeeper);
5.[root@node21 kafka_2.10-0.8.2.1]#./bin/kafka-topics.sh --create --zookeeper node21:2181,node22:2181,node23:2181(提示显示需要 topic);
6.[root@node21 kafka_2.10-0.8.2.1]#./bin/kafka-topics.sh --create --zookeeper node21:2181,node22:2181,node23:2181 --topic20161205(提示显示需要 partitions);
7.[root@node21 kafka_2.10-0.8.2.1]#./bin/kafka-topics.sh --create --zookeeper node21:2181,node22:2181,node23:2181 --topic20161205 --partitions 2(提示显示需要 replication);
8.[root@node21 kafka_2.10-0.8.2.1]#./bin/kafka-topics.sh --create --zookeeper node21:2181,node22:2181,node23:2181 --topic20161205 --partitions 2 --replication-factor 2
二、查看
1.[root@node21 kafka_2.10-0.8.2.1]# ./bin/kafka-topics.sh --list 查看创建好的topic(提示显示需要zookeeper);
2.[root@node21 kafka_2.10-0.8.2.1]#./bin/kafka-topics.sh --list --zookeeper node21:2181,node22:2181,node23:2181;
3.[root@node21 kafka_2.10-0.8.2.1]#./bin/kafka-topics.sh --describe --zookeeper node21:2181,node22:2181,node23:2181
三、添加数据
1.[root@node21 kafka_2.10-0.8.2.1]# 11 bin/添加数据;
2.[root@node21 kafka_2.10-0.8.2.1]# .bin/kafka-console-producer.sh;
3.[root@node21 kafka_2.10-0.8.2.1]# .bin/kafka-console-producer.sh --broker-list node21:9092,node22:9092,node23:9092 --topic 20161205(找 required);
4.[root@node21 kafka_2.10-0.8.2.1]# .bin/kafka-console-consumer.sh --topic 20161205 --zookeeper node21:2181,node22:2181,node23:2181