Consumer配置

本文涉及的产品
云原生网关 MSE Higress,422元/月
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
简介:

Consumer归属的组ID,broker是根据group.id来判断是队列模式还是发布订阅模式,非常重要

group.id

消费者的ID,若是没有设置的话,会自增

consumer.id

一个用于跟踪调查的ID ,最好同group.id相同

client.id = group id value

对于zookeeper集群的指定,可以是多个 hostname1:port1,hostname2:port2,hostname3:port3 必须和broker使用同样的zk配置

zookeeper.connect=localhost:2182

zookeeper的心跳超时时间,查过这个时间就认为是dead消费者

zookeeper.session.timeout.ms =6000

zookeeper的等待连接时间

zookeeper.connection.timeout.ms =6000

zookeeper的follower同leader的同步时间

zookeeper.sync.time.ms =2000

当zookeeper中没有初始的offset时候的处理方式 。smallest :重置为最小值 largest:重置为最大值 anythingelse:抛出异常

auto.offset.reset = largest

socket的超时时间,实际的超时时间是:max.fetch.wait + socket.timeout.ms.

socket.timeout.ms=30*1000

socket的接受缓存空间大小

socket.receive.buffer.bytes=64*1024

从每个分区获取的消息大小限制

fetch.message.max.bytes =1024*1024

是否在消费消息后将offset同步到zookeeper,当Consumer失败后就能从zookeeper获取最新的offset

auto.commit.enable =true

自动提交的时间间隔

auto.commit.interval.ms =60*1000

用来处理消费消息的块,每个块可以等同于fetch.message.max.bytes中数值

queued.max.message.chunks =10

当有新的consumer加入到group时,将会reblance,此后将会有partitions的消费端迁移到新

的consumer上,如果一个consumer获得了某个partition的消费权限,那么它将会向zk注册

"Partition Owner registry"节点信息,但是有可能此时旧的consumer尚没有释放此节点,

此值用于控制,注册节点的重试次数.

rebalance.max.retries =4

每次再平衡的时间间隔

rebalance.backoff.ms =2000

每次重新选举leader的时间

refresh.leader.backoff.ms

server发送到消费端的最小数据,若是不满足这个数值则会等待,知道满足数值要求

fetch.min.bytes =1

若是不满足最小大小(fetch.min.bytes)的话,等待消费端请求的最长等待时间

fetch.wait.max.ms =100

指定时间内没有消息到达就抛出异常,一般不需要改

consumer.timeout.ms = -1

目录
相关文章
|
JavaScript 索引
V-for中 key 值的作用,如何选择key
V-for中 key 值的作用,如何选择key
|
机器学习/深度学习 自然语言处理 自动驾驶
深度学习的应用实例:重塑各个领域的未来
深度学习的应用实例:重塑各个领域的未来
664 0
|
机器学习/深度学习 存储 人工智能
AI浪潮下,大模型如何在音视频领域运用与实践?
LiveVideoStackCon2023深圳站,阿里云视频云演讲分享
761 1
|
消息中间件 前端开发 Java
记录CDH5.10一个clients.NetworkClient: Bootstrap broker ip:9092 disconnected问题
1.当前环境使用的稳定版本组合a.本套环境CDH经过四次升级,当然版本为CDH-5.10.0-1.cdh5.10.0.p0.41b.KAFKA版本为KAFKA-2.
5567 0
|
Web App开发 前端开发 JavaScript
Union和Union All到底有什么区别
Union和Union All到底有什么区别
767 1
|
机器学习/深度学习 人工智能 并行计算
英伟达禁止其他硬件平台运行 CUDA 软件
【2月更文挑战第16天】英伟达禁止其他硬件平台运行 CUDA 软件
346 12
英伟达禁止其他硬件平台运行 CUDA 软件
|
存储 达摩院 安全
量子计算的社会影响:我们准备好了吗?
【5月更文挑战第26天】量子计算快速发展,将重塑信息安全、科研及产业经济。中国在量子密码学和计算机领域取得重大进展,政府加大投入,企业积极探索。然而,技术挑战、应用拓展和人才短缺仍需关注。面对量子革命,我们既要抓住机遇,也要应对挑战。
|
机器学习/深度学习 人工智能 算法
从零构建现代深度学习框架(TinyDL-0.01)
本文主要以一个Java工程师视角,阐述如何从零(无任何二三方依赖)构建一个极简(麻雀虽小五脏俱全)现代深度学习框架(类比AI的操作系统)。
|
人工智能 安全 搜索推荐
未来智能家居技术的发展趋势与挑战
随着人工智能和物联网技术的不断进步,智能家居领域正迎来前所未有的发展机遇与挑战。本文将探讨未来智能家居技术的发展趋势,分析智能家居面临的挑战,并展望智能家居领域的发展前景。