Kafka错误“Network is unreachable”和“larger than available brokers”

简介: 确定Kafka安装和启动正确,ZooKeeper可以查到所有的Brokers,但执行: kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic 遇到如下错误: java.
确定Kafka安装和启动正确,ZooKeeper可以查到所有的Brokers,但执行:
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
遇到如下错误:
java.net.SocketException: Network is unreachable
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
        at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)
        at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1141)
Error while executing topic command : replication factor: 3 larger than available brokers: 0
[2017-06-26 17:25:18,037] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 3 larger than available brokers: 0


这个问题可能是broker的配置文件server.properties中的配置项zookeeper.connect指定了kafka的zookeeper的根目录,如:
zookeeper.connect=192.168.31.32:2181,192.168.31.33:2181/kafka


这个时候,命令行参数“--zookeeper”的值也需要带上根目录,否则就会报这个错误,正确做法是:
kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 3 --partitions 1 --topic my-replicated-topic
相关文章
|
消息中间件 Kafka
kafka报错: (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
kafka报错: (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
kafka报错: (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
|
消息中间件 Kafka
Kafka【问题 03】Connection to node -1 (/IP:9092) could not be established. Broker may not be available.
Kafka【问题 03】Connection to node -1 (/IP:9092) could not be established. Broker may not be available.
2007 0
|
消息中间件 Kafka 网络安全
Kafka. Broker not available
Kafka. Broker not available
914 0
|
消息中间件 Kafka 网络安全
Kafka. Broker not available
Kafka. Broker not available
680 0
|
消息中间件 Kafka vr&ar
解析Kafka High Available 二
Broker Failover过程 一、Controller对Broker failure的处理过程 1、假设只有一台broker宕机 2、Controller在ZooKeeper的/brokers/ids节点上注册Watch。
1549 0
|
消息中间件 JavaScript Kafka
解析Kafka High Available
Kafka在HA架设需要两个内容 Replication (主从复制) Leader Election (从属选取主级) 在Kafka在0.8以前的版本中,是没有Replication(主从控制)的,一旦某一个Broker(服务器节点)宕机,则其上所有的Partition(topic分区)数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee(消息消费保障的设计目标相悖。
1665 0
|
消息中间件 存储 缓存
kafka 的数据是放在磁盘上还是内存上,为什么速度会快?
Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
837 1
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
642 1
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
1858 9

热门文章

最新文章