Consumer配置

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,182元/月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
简介:

Consumer归属的组ID,broker是根据group.id来判断是队列模式还是发布订阅模式,非常重要

group.id

消费者的ID,若是没有设置的话,会自增

consumer.id

一个用于跟踪调查的ID ,最好同group.id相同

client.id = group id value

对于zookeeper集群的指定,可以是多个 hostname1:port1,hostname2:port2,hostname3:port3 必须和broker使用同样的zk配置

zookeeper.connect=localhost:2182

zookeeper的心跳超时时间,查过这个时间就认为是dead消费者

zookeeper.session.timeout.ms =6000

zookeeper的等待连接时间

zookeeper.connection.timeout.ms =6000

zookeeper的follower同leader的同步时间

zookeeper.sync.time.ms =2000

当zookeeper中没有初始的offset时候的处理方式 。smallest :重置为最小值 largest:重置为最大值 anythingelse:抛出异常

auto.offset.reset = largest

socket的超时时间,实际的超时时间是:max.fetch.wait + socket.timeout.ms.

socket.timeout.ms=30*1000

socket的接受缓存空间大小

socket.receive.buffer.bytes=64*1024

从每个分区获取的消息大小限制

fetch.message.max.bytes =1024*1024

是否在消费消息后将offset同步到zookeeper,当Consumer失败后就能从zookeeper获取最新的offset

auto.commit.enable =true

自动提交的时间间隔

auto.commit.interval.ms =60*1000

用来处理消费消息的块,每个块可以等同于fetch.message.max.bytes中数值

queued.max.message.chunks =10

当有新的consumer加入到group时,将会reblance,此后将会有partitions的消费端迁移到新

的consumer上,如果一个consumer获得了某个partition的消费权限,那么它将会向zk注册

"Partition Owner registry"节点信息,但是有可能此时旧的consumer尚没有释放此节点,

此值用于控制,注册节点的重试次数.

rebalance.max.retries =4

每次再平衡的时间间隔

rebalance.backoff.ms =2000

每次重新选举leader的时间

refresh.leader.backoff.ms

server发送到消费端的最小数据,若是不满足这个数值则会等待,知道满足数值要求

fetch.min.bytes =1

若是不满足最小大小(fetch.min.bytes)的话,等待消费端请求的最长等待时间

fetch.wait.max.ms =100

指定时间内没有消息到达就抛出异常,一般不需要改

consumer.timeout.ms = -1

目录
相关文章
|
消息中间件 前端开发 Java
记录CDH5.10一个clients.NetworkClient: Bootstrap broker ip:9092 disconnected问题
1.当前环境使用的稳定版本组合a.本套环境CDH经过四次升级,当然版本为CDH-5.10.0-1.cdh5.10.0.p0.41b.KAFKA版本为KAFKA-2.
5546 0
Union和Union All到底有什么区别
Union和Union All到底有什么区别
514 1
|
7月前
|
人工智能 运维 自然语言处理
企业内训新范式:从“知识传递”到“战略杠杆”,如何实现培训价值倍增?
据2024年《中国企业培训白皮书》显示,超过68%的央国企和上市公司已将“业务场景实战”作为内训核心指标,而传统通用型课程采购量同比下降27%。在这场变革中,如何让培训从“知识传递”进化为“战斗力转化”? 本文将结合近两年先锋案例,拆解一套可落地的内训体系构建方法论。
|
9月前
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在医疗领域的应用与挑战
本文深入探讨了人工智能(AI)技术在医疗领域的应用现状、面临的挑战以及未来发展趋势。随着科技的飞速发展,AI技术正逐渐渗透到医疗行业的各个环节,从疾病诊断、治疗方案制定到患者管理等,都展现出巨大的潜力和价值。然而,AI技术的广泛应用也带来了数据安全、伦理道德、法规监管等一系列挑战。本文旨在通过分析AI技术在医疗领域的实际应用案例,揭示其优势与不足,为推动AI技术在医疗领域的健康发展提供参考。
636 23
|
算法 数据安全/隐私保护 异构计算
基于FPGA的MSK调制解调系统verilog开发,包含testbench,同步模块,高斯信道模拟模块,误码率统计模块
升级版FPGA MSK调制解调系统集成AWGN信道模型,支持在Vivado 2019.2中设置不同SNR仿真误码率。示例SNR值从0到15,结果展示解调质量随SNR提升。MATLAB仿真验证了MSK性能,图片显示了仿真结果。 ### 理论概要 研究聚焦于软件无线电中的MSK调制解调,利用Verilog实现。MSK是一种相位连续、恒包络的二进制调制技术,优点包括频谱效率高。系统采用无核设计,关键模块包括调制器、解调器和误码检测。复位、输入数据、中频信号等关键信号通过Verilog描述,并通过Chipscope在线观察。
272 6
基于FPGA的MSK调制解调系统verilog开发,包含testbench,同步模块,高斯信道模拟模块,误码率统计模块
|
计算机视觉
【方便的Opencv】实现播放有声音的视频+附带图片生成gif
【方便的Opencv】实现播放有声音的视频+附带图片生成gif
1085 0
【方便的Opencv】实现播放有声音的视频+附带图片生成gif
|
前端开发 程序员 数据库
程序员需要知道的50个网址,包括编程社区、开发工具、技术博客、在线课程等。
以下是 50 个程序员必须要知道的网站: 1. Codecademy(www.codecademy.com):在线编程学习平台,提供多种编程语言的入门课程。 2. Khan Academy(www.khanacademy.org):非营利性在线学习平台,提供有关计算机科学和编程的免费课程。 3. Udemy(www.udemy.com):在线教育平台,提供大量编程课程,包括入门课程和进阶课程。 4. Coursera(www.coursera.org):在线教育平台,提供全球顶尖大学和机构的编程课程。 5. edX(www.edx.org):在线教育平台,提供全球顶尖大学和机构的编程课程。 6
732 0
|
运维 监控 KVM
什么是带内管理 带外管理?(转)
什么叫带外管理?常见的设备管理方式有SNMP、RMON、Web、TELNET以及通过CONSOLE、AUX接口管理,有些高端设备还具备100BASE-TX的带外管理端口。我在网上查到大概SNMP、RMON、Web、TELNET这些管理方式属于带内管理,通过CONSOLE、AUX接口管理和通过某些高端设备具有的100BASE-TX的带外管理端口进行管理的方式属于带外管理。
3023 0