Kafka 提供了两种数据清理机制，即日志压缩和日志删除。
- 日志压缩（Log Compaction）： 日志压缩是 Kafka 中的一种数据清理策略，用于保留最新的数据和唯一键值。当主题中的消息被压缩时，仅保留最新的消息，并删除具有相同键的旧消息。这对于需要保留最新状态的数据非常有用，如状态变更事件或配置信息。
在日志压缩中，Kafka 使用了一个特殊的压缩类型，称为压缩记录（Compact Record）。当写入消息时，Kafka 会检查消息的键是否已经存在于分区中。如果存在，则会将旧的消息标记为删除，并在后续的数据段中只保留最新的消息。这样可以大大减小存储的数据量，节省磁盘空间。 - 日志删除（Log Retention）： 日志删除是 Kafka 中的另一种数据清理策略，用于删除过期或不再需要的数据。Kafka 允许根据时间和日志大小两个维度进行数据的清理。
时间维度：可以通过设置日志保留时间来控制数据的删除策略。Kafka 会根据日志的时间戳来判断是否过期，一旦超过保留时间，将被删除。
日志大小维度：可以通过设置日志的最大大小来控制数据的删除策略。当日志的大小超过设置的阈值时，Kafka 将删除最旧的数据段，从而保持日志大小在可控范围内。
通过设置适当的保留时间和日志大小阈值，可以根据实际需求来调整数据的保留和清理策略。
这些数据清理机制使得 Kafka 能够自动管理存储空间，并根据应用场景清除不再需要的数据，以保持高效的存储和性能。
