调整完kafka消息大小max.message.bytes之后依然报错消息过大的情况咋办?

调整完kafka消息大小max.message.bytes之后依然报错消息过大的情况咋办?kafkaserver:Messagewastoolarge,serverrejectedittoavoidallocationerror.

展开
收起
爱喝咖啡嘿 2022-12-22 11:18:54 1388 分享 版权
1 条回答
写回答
取消 提交回答
  • 如果单独调整max.request.size参数的大小可能不起作用,因为在broker端和consumer端同样对消息的大小存在限制,我们在调整的时候要同时调整这三个参数,不然可能是broker接受不了producter端的消息,要不就是consumer端消费不了消息。调整如下:

    producer端:
    max.request.size=5242880(5M)
    broker:
    message.max.bytes=6291456(6M)
    consumer:
    fetch.max.bytes=7340032(7M)
     
    max.request.size < message.max.bytes < fetch.max.bytes
    

    还有一个地方就是topic端同样也有一个max.message.bytes参数,它只针对某个主题生效,可动态配置,可覆盖全局的 message.max.bytes,好处就是可以针对不同主题去设置 Broker 接收消息的大小,而且不用重启 broker。

    2022-12-22 23:44:10
    赞同 展开评论

数据库领域前沿技术分享与交流

收录在圈子:
+ 订阅
让用户数据永远在线,让数据无缝的自由流动
还有其他疑问?
咨询AI助理