开发者学堂课程【大数据实时计算框架 Spark 快速入门:Kafka 的安装及测试_1】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/100/detail/1727
Kafka的安装及测试_1
1.[root@node21 Kafka_2.10-0.8.2.1]# 11 进入 Kafka 目录。
2.[root@node21 Kafka_2.10-0.8.2.1]# 11 config/ 展开目录。
3.[root@node21 Kafka_2.10-0.8.2.1]# 11 config/server.properties。
4.Kafka 是一个集群,Broker 是节点,port 是端口,一个集群下有很多和节点。
5.log.dirs=/kafka-logs,需要放入 kafka 的数据。
6.Kafka 是一个分布式的消息队列。
7.topic 抽象概念,由多个 partition 组成,partition 是一个节点里面一片连续的数据。
8.num.partitions=1,默认每个 topic 只有一个 partition。
9.log.retention.hours=168,kafka 日志进来168个小时之后会被删除。
10.zookeeper.connection=spark21:2181,spark22:2181,spark23:2181 没有 zookeeper 的话,kafka 是运行不起来的。
11.[root@node21 Kafka_2.10-0.8.2.1]# mkdir /kafka-logs 创建目录。
12.[root@node21 Kafka_2.10-0.8.2.1]# chmod +x,/bin/* 加执行权限。
13.[root@node21 hadoopsoft]# scp -r kafka_2.10-0.8.2.1/[root@node22:/usr/hadoopsoft/ 换地址。
14.[root@node21 hadoopsoft]# cd zookeeper-3.4.8。
[root@node21 zookeeper-3.4.8]#.bin/zkServer.sh status 查看 zookeerer 状态。
15.[root@node21 kafka_2.10-0.8.2.1]# cat startkafka.sh
Nohup bin/kafka-server-start.sh config/server.properties > kafka.log(哪启动脚本哪创建) 2>&] &[root@node21 kafka_2.10-0.8.2.1]# 启动 kafka