Kafka Consumer java api 配置

简介: Kafka Consumer java api 配置

Kafka Consumer java api 配置:

  1. group.id: 指定consumer所属的consumer group
  2. consumer.id: 如果不指定会自动生成
  3. socket.timeout.ms: 网络请求的超时设定
  4. socket.receive.buffer.bytes: Socket的接收缓存大小
  5. fetch.message.max.bytes: 试图获取的消息大小之和(bytes)
  6. num.consumer.fetchers:该消费去获取data的总线程数
  7. auto.commit.enable: 如果是true,定期向zk中更新Consumer已经获取的last message offset(所获取的最后一个batch的first messageoffset)
  8. auto.commit.interval.ms:Consumer向ZK中更新offset的时间间隔
  9. queued.max.message.chunks:默认为2
  10. rebalance.max.retries: 在rebalance时retry的最大次数,默认为4
  11. fetch.min.bytes: 对于一个fetch request, Broker Server应该返回的最小数据大小,达不到该值request会被block, 默认是1字节。
  12. fetch.wait.max.ms: Server在回答一个fetch request之前能block的最大时间(可能的block原因是返回数据大小还没达到fetch.min.bytes规定);
  13. rebalance.backoff.ms: 当rebalance发生时,两个相邻retry操作之间需要间隔的时间。
  14. refresh.leader.backoff.ms: 如果一个Consumer发现一个partition暂时没有leader,那么Consumer会继续等待的最大时间窗口(这段时间内会refresh partition leader);
  15. auto.offset.reset:当发现offset超出合理范围(out ofrange)时,应该设成的大小(默认是设成offsetRequest中指定的值):
    smallest: 自动把该consumer的offset设为最小的offset;
    largest: 自动把该consumer的offset设为最大的offset;
    anything else: throw exception to the consumer;
  16. consumer.timeout.ms: 如果在该规定时间内没有消息可供消费,则向Consumer抛出timeout exception;该参数默认为-1, 即不指定Consumer timeout;
  17. client.id:区分不同consumer的ID,默认是group.id
相关文章
|
1月前
|
消息中间件 Java Kafka
关于kafka消费者超时配置
关于kafka消费者超时配置
81 2
|
2月前
|
消息中间件 Kafka API
kafka Consumer high-level api 之白名单
kafka Consumer high-level api 之白名单
|
1月前
|
消息中间件 Java Kafka
Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
【2月更文挑战第19天】Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
55 1
|
10天前
|
消息中间件 存储 Java
深度探索:使用Apache Kafka构建高效Java消息队列处理系统
【4月更文挑战第17天】本文介绍了在Java环境下使用Apache Kafka进行消息队列处理的方法。Kafka是一个分布式流处理平台,采用发布/订阅模型,支持高效的消息生产和消费。文章详细讲解了Kafka的核心概念,包括主题、生产者和消费者,以及消息的存储和消费流程。此外,还展示了Java代码示例,说明如何创建生产者和消费者。最后,讨论了在高并发场景下的优化策略,如分区、消息压缩和批处理。通过理解和应用这些策略,可以构建高性能的消息系统。
|
16天前
|
消息中间件 存储 运维
Kafka重要配置参数全面解读(重要)
Kafka重要配置参数全面解读(重要)
40 0
Java相关配置
Java相关配置
1221 0
|
4天前
|
安全 Java 调度
Java线程:深入理解与实战应用
Java线程:深入理解与实战应用
24 0
|
1天前
|
缓存 Java
Java并发编程:深入理解线程池
【4月更文挑战第26天】在Java中,线程池是一种重要的并发工具,它可以有效地管理和控制线程的执行。本文将深入探讨线程池的工作原理,以及如何使用Java的Executor框架来创建和管理线程池。我们将看到线程池如何提高性能,减少资源消耗,并提供更好的线程管理。
|
2天前
|
消息中间件 缓存 NoSQL
Java多线程实战-CompletableFuture异步编程优化查询接口响应速度
Java多线程实战-CompletableFuture异步编程优化查询接口响应速度
|
2天前
|
数据采集 存储 Java
高德地图爬虫实践:Java多线程并发处理策略
高德地图爬虫实践:Java多线程并发处理策略