【Kafka】Consumer配置

简介:

从0.9.0.0开始,下面是消费者的配置。

名称 描述 类型 默认值
bootstrap.servers 消费者初始连接kafka集群时的地址列表。不管这边配置的什么地址,消费者会使用所有的kafka集群服务器。消费者会通过这些地址列表,找到所有的kafka集群机器。 list
key.deserializer 实现了Deserializer的key的反序列化类 class
value.deserializer 实现了Deserializer的value的反序列化类 class
fetch.min.bytes 每次请求,kafka返回的最小的数据量。如果数据量不够,这个请求会等待,直到数据量到达最小指标时,才会返回给消费者。如果设置大于1,会提高kafka的吞吐量,但是会有额外的等待期的代价。 int 1
group.id 标识这台消费者属于那个消费组。如果消费者通过订阅主题来实现组管理功能,或者使用基于kafka的偏移量管理策略,这个配置是必须的。 string ""
heartbeat.interval.ms 使用kafka集群管理工具时,消费者协调器之间的预计心跳时间。心跳的作用是确保消费者的session是活跃的,同时当新的机器加入集群或有机器挂掉的情况下触发再平衡操作。这个配置必须小于heartbeat.interval.ms,而且应该不大于这个值的1/3。为了控制正常的负载均衡的预期时间,这个值可以设置的更小。 int 3000
max.partition.fetch.bytes kafka集群每个分区一次返回的最大数据量。一次请求的最大内存使用量应该等于#partitions * max.partition.fetch.bytes。这个值必须与kafka集群允许的最大消息数据量差不多大小,否则可能生产者发送了一个消息,大于消费者配置的值。这种情况下,消费者可能会在获取那条消息时堵住。 int 1048576
session.timeout.ms 使用kafka集群管理工具时检测失败的超时时间。如果在session超时时间范围内,没有收到消费者的心跳,broker会把这个消费者置为失效,并触发消费者负载均衡。因为只有在调用poll方法时才会发送心跳,更大的session超时时间允许消费者在poll循环周期内处理消息内容,尽管这会有花费更长时间检测失效的代价。如果想控制消费者处理消息的时间,还可以参考max.poll.records。注意这个值的大小应该在group.min.session.timeout.ms和group.max.session.timeout.ms范围内。 int 30000
ssl.key.password 私钥存储文件的私钥密码。可选配置。 password null
ssl.keystore.location 私钥存储文件的路径。可选配置,并且可用来作为客户端的双向认证。 string null
ssl.keystore.password 私钥存储文件的存储密码。可选配置,并且只有ssl.keystore.location配置的情况下才需要配置。 password null
ssl.truststore.location 信任秘钥文件路径。 string null
ssl.truststore.password 信任秘钥文件密码。 password null
auto.offset.reset 当kafka的初始偏移量没了,或者当前的偏移量不存在的情况下,应该怎么办?下面有几种策略:earliest(将偏移量自动重置为最初的值)、latest(自动将偏移量置为最新的值)、none(如果在消费者组中没有发现前一个偏移量,就向消费者抛出一个异常)、anything else(向消费者抛出异常) string latest
connections.max.idle.ms 配置时间后,关闭空闲的连接 long 540000
enable.auto.commit 如果设为true,消费者的偏移量会定期在后台提交。 boolean true
exclude.internal.topics 内部主题(比如偏移量)是否需要暴露给消费者。如果设为true,获取内部主题消息的途径就是订阅他们。 boolean true
max.poll.records 一次poll调用返回的最大消息数量。 int 2147483647
partition.assignment.strategy 使用组管理时,客户端使用的分区策略的类名,根据这个策略来进行消费分区。 list [org.apache.kafka.clients.consumer.RangeAssignor]
receive.buffer.bytes SO_RCVBUF读取数据使用的内存大小。 int 65536
request.timeout.ms 这个配置控制一次请求响应的最长等待时间。如果在超时时间内未得到响应,kafka要么重发这条消息,要么超过重试次数的情况下直接置为失败。 int 40000
目录
相关文章
|
1月前
|
消息中间件 Java Kafka
关于kafka消费者超时配置
关于kafka消费者超时配置
175 2
|
1月前
|
消息中间件 缓存 Kafka
Kafka ProducerConfig和ConsumerConfig配置
Kafka ProducerConfig和ConsumerConfig配置
|
1月前
|
消息中间件 关系型数据库 Kafka
实时计算 Flink版产品使用合集之想要加快消费 Kafka 数据的速度,该怎么配置参数
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
消息中间件 Java Kafka
Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
【2月更文挑战第19天】Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
86 1
|
8天前
|
消息中间件 Java Kafka
集成Kafka到Spring Boot项目中的步骤和配置
集成Kafka到Spring Boot项目中的步骤和配置
38 7
|
8天前
|
消息中间件 负载均衡 Kafka
一文读懂Kafka API:Producer、Consumer和Streams全解析
大家好,今天我们将深入探讨Kafka的三大核心API。通过这篇文章,你将了解如何使用Producer API发布记录流,利用Consumer API订阅和处理数据,以及通过Streams API实现复杂的流处理。一起开启Kafka的探索之旅吧!
26 2
|
24天前
|
消息中间件 存储 运维
Kafka重要配置参数全面解读(重要)
Kafka重要配置参数全面解读(重要)
22 2
|
1月前
|
消息中间件 Cloud Native Kafka
一文搞懂 Kafka consumer 与 broker 交互机制与原理
AutoMQ致力于打造下一代云原生Kafka系统,解决Kafka痛点。本文深入解析Kafka Consumer与Broker的交互机制,涉及消费者角色、核心组件及常用接口。消费者以group形式工作,包括leader和follower。交互流程涵盖FindCoordinator、JoinGroup、SyncGroup、拉取消息和退出过程。文章还探讨了broker的consumer group状态管理和rebalance原理。AutoMQ团队分享Kafka技术,感兴趣的话可以关注他们。
68 2
一文搞懂 Kafka consumer 与 broker 交互机制与原理
|
1月前
|
消息中间件 Java Kafka
关于kafka消费者超时配置
关于kafka消费者超时配置
|
1月前
|
消息中间件 存储 运维
Kafka重要配置参数全面解读(重要)
Kafka重要配置参数全面解读(重要)
162 0

热门文章

最新文章