开发者社区> 问答> 正文

kafka的消息为什么要批量压缩?

kafka的消息为什么要批量压缩?

展开
收起
7大帅 2021-12-09 21:18:04 577 0
1 条回答
写回答
取消 提交回答
  • 如果每个消息都压缩,但是压缩率相对很低,所以Kafka使用了批量压缩,即 将多个消息一起压缩而不是单个消息压缩

    Kafka允许使用递归的消息集合,批量的消息可以通过压缩的形式传输并且在 日志中也可以保持压缩格式,直到被消费者解压缩

    Kafka支持多种压缩协议,包括Gzip和Snappy压缩协议

    Kafka把所有的消息都变成一个批量的文件,并且进行合理的批量压缩,减少 网络I。损耗,通过mmap提高I/O速度,写入数据的时候由于单个Partion是末 尾添加所以速度最优;读取数据的时候配合sendfile直接暴力输岀。

    2021-12-09 21:49:49
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载