kafka的topic命名技巧

简介:

    比如,我们给kafka的topic命名为user_r2p10

    表示user这个topic的副本因子(r)是2,分区数(p)是10。

    这样后期在写消费者代码的时候,根据topic名称就知道分区有多少个,可以很方便的设置多少个消费者线程。

 

 

 

  比如,如下

 

  前期博客,见

Kafka的3节点集群详细启动步骤(Zookeeper是外装)

 

 

  然后,

  创建topic

复制代码
[hadoop@master kafka_2.10-0.9.0.1]$ pwd
/home/hadoop/app/kafka_2.10-0.9.0.1
[hadoop@master kafka_2.10-0.9.0.1]$ ll
total 128
drwxr-xr-x 3 hadoop hadoop  4096 Jul 27 17:56 bin
drwxr-xr-x 2 hadoop hadoop  4096 Jul 27 19:16 config
-rw-rw-r-- 1 hadoop hadoop 19520 Jul 28 19:57 kafka.log
drwxr-xr-x 2 hadoop hadoop  4096 Jul 27 17:26 libs
-rw-r--r-- 1 hadoop hadoop 11358 Feb 12  2016 LICENSE
drwxrwxr-x 2 hadoop hadoop  4096 Jul 28 19:56 logs
-rw------- 1 hadoop hadoop 67054 Jul 27 23:28 nohup.out
-rw-r--r-- 1 hadoop hadoop   162 Feb 12  2016 NOTICE
drwxr-xr-x 2 hadoop hadoop  4096 Feb 12  2016 site-docs
[hadoop@master kafka_2.10-0.9.0.1]$ bin/kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --create --topic gold_log_r2p5 --replication-factor 2 --partitions 5
WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.
Created topic "gold_log_r2p5".
[hadoop@master kafka_2.10-0.9.0.1]$ 
[hadoop@master kafka_2.10-0.9.0.1]$ 

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/7246749.html,如需转载请自行联系原作者

相关文章
消息中间件 Java Kafka
49 0
|
7月前
|
消息中间件 人工智能 安全
秒级灾备恢复:Kafka 2025 AI自愈集群下载及跨云Topic迁移终极教程
Apache Kafka 2025作为企业级实时数据中枢,实现五大革新:量子安全传输(CRYSTALS-Kyber抗量子加密算法)、联邦学习总线(支持TensorFlow Federated/Horizontal FL框架)、AI自愈集群(MTTR缩短至30秒内)、多模态数据处理(原生支持视频流、3D点云等)和跨云弹性扩展(AWS/GCP/Azure间自动迁移)。平台采用混合云基础设施矩阵与软件依赖拓扑设计,提供智能部署架构。安装流程涵盖抗量子安装包获取、量子密钥配置及联邦学习总线设置。
|
12月前
|
消息中间件 存储 分布式计算
大数据-53 Kafka 基本架构核心概念 Producer Consumer Broker Topic Partition Offset 基础概念了解
大数据-53 Kafka 基本架构核心概念 Producer Consumer Broker Topic Partition Offset 基础概念了解
224 4
|
消息中间件 Kafka Apache
kafka: invalid configuration (That topic/partition is already being consumed)
kafka: invalid configuration (That topic/partition is already being consumed)
|
消息中间件 监控 Kafka
查询Kafka集群中消费组(group)信息和对应topic的消费情况
查询Kafka集群中消费组(group)信息和对应topic的消费情况
5708 0
|
消息中间件 负载均衡 监控
【Kafka】Kafka 创建Topic后如何将分区放置到不同的 Broker 中?
【4月更文挑战第13天】【Kafka】Kafka 创建Topic后如何将分区放置到不同的 Broker 中?
|
消息中间件 存储 缓存
【Kakfa】Kafka 的Topic中 Partition 数据是怎么存储到磁盘的?
【4月更文挑战第13天】【Kakfa】Kafka 的Topic中 Partition 数据是怎么存储到磁盘的?
|
消息中间件 存储 负载均衡
深入了解Kafka中Topic的神奇之处
深入了解Kafka中Topic的神奇之处
754 0
|
消息中间件 存储 Java
Kafka的Topic CRUD演示
Kafka的Topic CRUD演示
107 0
|
消息中间件 Kafka 流计算
Flink的分区表订阅功能是通过Kafka的topic分区来实现的
Flink的分区表订阅功能是通过Kafka的topic分区来实现的【1月更文挑战第6天】【1月更文挑战第26篇】
209 1