Kafka Consumer java api 配置

简介: Kafka Consumer java api 配置

Kafka Consumer java api 配置:

  1. group.id: 指定consumer所属的consumer group
  2. consumer.id: 如果不指定会自动生成
  3. socket.timeout.ms: 网络请求的超时设定
  4. socket.receive.buffer.bytes: Socket的接收缓存大小
  5. fetch.message.max.bytes: 试图获取的消息大小之和(bytes)
  6. num.consumer.fetchers:该消费去获取data的总线程数
  7. auto.commit.enable: 如果是true,定期向zk中更新Consumer已经获取的last message offset(所获取的最后一个batch的first messageoffset)
  8. auto.commit.interval.ms:Consumer向ZK中更新offset的时间间隔
  9. queued.max.message.chunks:默认为2
  10. rebalance.max.retries: 在rebalance时retry的最大次数,默认为4
  11. fetch.min.bytes: 对于一个fetch request, Broker Server应该返回的最小数据大小,达不到该值request会被block, 默认是1字节。
  12. fetch.wait.max.ms: Server在回答一个fetch request之前能block的最大时间(可能的block原因是返回数据大小还没达到fetch.min.bytes规定);
  13. rebalance.backoff.ms: 当rebalance发生时,两个相邻retry操作之间需要间隔的时间。
  14. refresh.leader.backoff.ms: 如果一个Consumer发现一个partition暂时没有leader,那么Consumer会继续等待的最大时间窗口(这段时间内会refresh partition leader);
  15. auto.offset.reset:当发现offset超出合理范围(out ofrange)时,应该设成的大小(默认是设成offsetRequest中指定的值):
    smallest: 自动把该consumer的offset设为最小的offset;
    largest: 自动把该consumer的offset设为最大的offset;
    anything else: throw exception to the consumer;
  16. consumer.timeout.ms: 如果在该规定时间内没有消息可供消费,则向Consumer抛出timeout exception;该参数默认为-1, 即不指定Consumer timeout;
  17. client.id:区分不同consumer的ID,默认是group.id
相关文章
|
11月前
|
Java API 数据处理
Java新特性:使用Stream API重构你的数据处理
Java新特性:使用Stream API重构你的数据处理
|
11月前
|
Java 大数据 API
Java Stream API:现代集合处理与函数式编程
Java Stream API:现代集合处理与函数式编程
448 100
|
11月前
|
Java API 数据处理
Java Stream API:现代集合处理新方式
Java Stream API:现代集合处理新方式
421 101
|
11月前
|
并行计算 Java 大数据
Java Stream API:现代数据处理之道
Java Stream API:现代数据处理之道
520 101
|
11月前
|
安全 Java API
使用 Java 构建强大的 REST API 的四个基本技巧
本文结合探险领域案例,分享Java构建REST API的四大核心策略:统一资源命名、版本控制与自动化文档、安全防护及标准化异常处理,助力开发者打造易用、可维护、安全可靠的稳健API服务。
591 116
|
11月前
|
存储 数据可视化 Java
Java Stream API 的强大功能
Java Stream API 是 Java 8 引入的重要特性,它改变了集合数据的处理方式。通过声明式语法,开发者可以更简洁地进行过滤、映射、聚合等操作。Stream API 支持惰性求值和并行处理,提升了代码效率和可读性,是现代 Java 开发不可或缺的工具。
216 0
Java Stream API 的强大功能
|
12月前
|
安全 Java API
Java日期时间API:从Date到Java.time
本文深入解析了Java 8中引入的全新日期时间API,涵盖LocalDate、LocalTime、LocalDateTime、ZonedDateTime等核心类的使用,以及时间调整、格式化、时区处理和与旧API的互操作。通过实例对比,展示了新API在可变性、线程安全与易用性方面的显著优势,并提供迁移方案与实战技巧,助你掌握现代Java时间处理的最佳实践。
|
消息中间件 存储 缓存
kafka 的数据是放在磁盘上还是内存上,为什么速度会快?
Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
732 1
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
547 1