AI 助理
备案控制台
开发者社区 问答 正文

Kafka中partition 的数据如何保存到硬盘？

Kafka中partition 的数据如何保存到硬盘？

展开
收起
芯在这 2021-12-12 09:34:11 630 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 真的很搞笑

    topic 中的多个 partition 以文件夹的形式保存到 broker，每个分区序号从 0 递增，

    且消息有序

    Partition 文件下有多个 segment（xxx.index，xxx.log）

    segment 文件里的 大小和配置文件大小一致可以根据要求修改 默认为 1g

    如果大小大于 1g 时，会滚动一个新的 segment 并且以上一个 segment 最后一条消息的偏移

    量命名

    2021-12-12 09:34:32
    赞同 展开评论
问答分类：
云消息队列 Kafka 版
问答标签：
云消息队列 Kafka 版数据 云消息队列 Kafka 版partition 云消息队列 Kafka 版partition数据 云消息队列 Kafka 版硬盘 云消息队列 Kafka 版数据保存
问答地址：
开发者社区 > 云计算 > 问答
相关问答
DMS一个数据订阅任务一个topic，这个kafka topic是只有一个partition么？
149
3
0
DTS是否支持将RDS MySQL表非主键字段作为Partition Key迁移到Kafka
96
1
0
Kafka中的分区（Partition）有什么作用？
132
1
0
Kafka的partition如何分布和复制？
59
1
0
Kafka中的partition是如何存储在broker上的？
86
1
0
Kafka中producer生产的数据是如何存储在partition中的？
76
1
0
Kafka中的topic和partition分别是什么概念？
142
1
0
大佬们 请教个问题 在开启flink分区发现Kafka partition的时候，扩分区后会导致任？
294
0
0
Canal 发送到Kafka Topic 消息的同时，实现Partition 分区
148
1
0
为何我投递到kafka之后，partition设置了4个，但是全部进去了第一个partition
133
1
0