kafka安装及使用命令

简介:
+关注继续查看
Kafka主要特点:
  1. 同时为发布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。
  2. 可进行持久化操作。将消息持久化到磁盘,因此可用于批量消费,例如ETL,以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失。
  3. 分布式系统,易于向外扩展。所有的producer、broker和consumer都会有多个,均为分布式的。无需停机即可扩展机器。
  4. 消息被处理的状态是在consumer端维护,而不是由server端维护。当失败时能自动平衡。
  5. 支持online和offline的场景。
几个基本的消息系统术语:
  • Kafka将消息以topic为单位进行归纳。
  • 将向Kafka topic发布消息的程序成为producers.
  • 将预订topics并消费消息的程序成为consumer.
  • Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.
producers通过网络将消息发送到Kafka集群,集群向消费者提供消息,如下图所示:
4f5b674c492f77c303a2923f8ab81df2c8ca83e9

创建路径:
mkdir /kafka
## 登陆到zk任一节点执行
su -l admin
/opt/dtstack/zookeeper/bin/zkCli.sh

create /kafka ''

解压安装包:
tar -zxvf kafka_2.11-0.9.0.1.tgz
mv kafka_2.11-0.9.0.1 /opt/dtstack/
ln -s /opt/dtstack/kafka_2.11-0.9.0.1 /opt/dtstack/kafka
chown -R admin.admin /opt/dtstack/kafka_2.11-0.9.0.1/
创建数据目录:
mkdir -p /data/kafka/logs
chown -R admin.admin /data/kafka/

修改kafka-server的配置文件:
vim /opt/dtstack/kafka/config/server.properties

broker.id=1
listeners=PLAINTEXT://:9092
advertised.host.name=1.2.3.4
log.dirs=/data/kafka/logs
num.partitions=2
auto.create.topics.enable=true
log.retention.hours=168
zookeeper.connect=1.2.3.4:2181/kafka

开启服务:
bin/zookeeper-server-start.sh config/zookeeper.properties &
/bin/kafka-server-start.sh &

创建一个名为dt_all_log的topic:(有三个partitions)
bin/kafka-topics.sh --create --zookeeper 1.2.3.4:2181/kafka --replication-factor 2 --partitions 3 --topic dt_all_log

查看所有topic分区情况:
bin/kafka-topics.sh --zookeeper 1.2.3.4:2181/kafka

查看指定topic的分区情况:
bin/kafka-topics.sh --zookeeper 1.2.3.4:2181/kafka --describe --topic dt_all_log


为Topic增加 partition数

bin/kafka-add-partitions.sh --topic dt_all_log --partition 2  --zookeeper  1.2.3.4:2181 (为topic dt_all_log增加2个分区)

删除topic(慎用):

只会删除zookeeper中的元数据,消息文件须手动删除

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic test666 --zookeeper 1.2.3.4:2181 



目录
相关文章
|
25天前
|
消息中间件 负载均衡 Java
Kafka的安装及使用
Kafka的安装及使用
63 0
Kafka的安装及使用
|
29天前
|
消息中间件 Java Kafka
Linux系列——Kafka的安装与测试
Linux系列——Kafka的安装与测试
|
29天前
|
消息中间件 Kafka Shell
Docker安装kafka
Docker安装kafka
63 0
|
30天前
|
消息中间件 大数据 Kafka
|
2月前
|
消息中间件 存储 传感器
macOS 系统 安装 Kafka 快速入门
macOS 系统 安装 Kafka 快速入门
63 0
|
2月前
|
消息中间件 Kafka Shell
Kafka的保姆级简易安装启动、关闭注意事项、简单使用
Kafka的保姆级简易安装启动、关闭注意事项、简单使用
55 0
|
2月前
|
消息中间件 存储 分布式计算
Kafka 3.x的解压安装 - Linux
Kafka 3.x的解压安装 - Linux
116 0
Kafka 3.x的解压安装 - Linux
|
3月前
|
消息中间件 存储 安全
Kafka 从安装到应用
Kafka 从安装到应用
89 0
Kafka 从安装到应用
|
3月前
|
消息中间件 负载均衡 Kafka
Windows中安装和使用Kafka
Windows中安装和使用Kafka
|
3月前
|
消息中间件 Ubuntu Java
kafka 安装及测试
kafka 安装及测试
76 0
相关实验场景
更多
推荐文章
更多