130 Kafka文件存储基本结构

简介: 130 Kafka文件存储基本结构

Kafka文件存储中,同一个topic下有多个不同partition,每个partition为一个目录,partiton命名规则为topic名称+有序序号,第一个partiton序号从0开始,序号最大值为partitions数量减1。

每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file消息数量不一定相等,这种特性方便old segment file快速被删除。默认保留7天的数据。

每个partiton只需要支持顺序读写就行了,segment文件生命周期由服务端配置参数决定。(什么时候创建,什么时候删除)

数据有序的讨论?

一个partition的数据是否是有序的? 间隔性有序,不连续针对一个topic里面的数据,只能做到partition内部有序,不能做到全局有序。

特别加入消费者的场景后,如何保证消费者消费的数据全局有序的?伪命题。

只有一种情况下才能保证全局有序?就是只有一个partition

目录
相关文章
|
5月前
|
消息中间件 存储 NoSQL
深度解密Kafka:从内部存储结构到关键技术的全景透视
深度解密Kafka:从内部存储结构到关键技术的全景透视
|
7月前
|
消息中间件 存储 Kafka
Kafka(二)【文件存储机制 & 生产者】(1)
Kafka(二)【文件存储机制 & 生产者】
|
7月前
|
消息中间件 存储 Kafka
Kafka(二)【文件存储机制 & 生产者】(2)
Kafka(二)【文件存储机制 & 生产者】
|
8月前
|
消息中间件 存储 Kafka
Kafka - 3.x 文件存储不完全指北
Kafka - 3.x 文件存储不完全指北
89 0
|
8月前
|
消息中间件 JSON 监控
Kafka 的消息格式:了解消息结构与序列化
Kafka 作为一款高性能的消息中间件系统,其消息格式对于消息的生产、传输和消费起着至关重要的作用。本篇博客将深入讨论 Kafka 的消息格式,包括消息的结构、序列化与反序列化,以及一些常用的消息格式选项。通过更丰富的示例代码和深入的解析,希望能够帮助大家更好地理解 Kafka 消息的内部机制。
|
消息中间件 存储 Kafka
【Kafka实战指南】Kafka安装及日志存储结构
【Kafka实战指南】Kafka安装及日志存储结构
220 0
【Kafka实战指南】Kafka安装及日志存储结构
|
存储 消息中间件 大数据
Kafka详解日志结构
Kafka详解日志结构
563 0
Kafka详解日志结构
|
消息中间件 Kafka Scala
从源码和日志文件结构中分析 Kafka 重启失败事件
上次的 Kafka 重启失败事件,对为什么重启失败的原因似乎并没有解释清楚,那么我就在这里按照我对 Kafka 的认识,从源码和日志文件结构去尝试寻找原因。
251 0
从源码和日志文件结构中分析 Kafka 重启失败事件
|
存储 Linux 文件存储
Linux笔记:文件存储结构
Linux 系统中的一切文件都是从“根(/)”目录开始的,并按照文件系统层次化标准(FHS, Filesystem Hierarchy Standard)采用树形结构来存放文件,以及定义了常见目录的用途。
1262 0
|
存储 消息中间件 Kafka
跟我学Kafka之zookeeper的存储结构
一、zookeeper存储结构总图 图片 当我们kafka启动运行以后,就会在zookeeper上初始化kafka相关数据,主要包括六大类: consumers admin config controller brokers controller_epoch 1、brokers节点结构说明 1.
842 0

热门文章

最新文章