开发者社区 问答 正文

Kafka 高效文件存储设计特点是什么?

Kafka 高效文件存储设计特点是什么?

展开
收起
芯在这 2021-12-12 09:31:39 302 分享 版权
1 条回答
写回答
取消 提交回答
  • (1).Kafka 把 topic 中一个 parition 大文件分成多个小文件段,通过多个小文件段,就容易定

    期清除或删除已经消费完文件,减少磁盘占用。

    (2).通过索引信息可以快速定位 message 和确定 response 的最大大小。

    (3).通过 index 元数据全部映射到 memory,可以避免 segment file 的 IO 磁盘操作。

    (4).通过索引文件稀疏存储,可以大幅降低 index 文件元数据占用空间大小。

    2021-12-12 09:33:53
    赞同 展开评论