kafka宕机之后数据没有重新produce到kafka

kafka crash之后恢复，binlog没有办法正常投递？

原回答者GitHub用户agapple

这种情况很可能是由于 Canal 的 offset 没有被正确的记录所导致的。在 Canal 中，offset 是用来标记 Kafka 中数据消费的位置的。当 Kafka 发生宕机等异常情况时，如果 offset 没有被正确的记录，就会导致 Canal 不能正确的恢复数据的消费位置，从而无法将数据再次 produce 到 Kafka 中。

为了解决这个问题，可以通过两种方式来避免 Canal offset 丢失的情况：

使用 Kafka 高级别 API 自动维护 offset。这种方式需要在 Canal 与 Kafka 的配置文件中进行相关的修改，配置文件中需要指定 Kafka 的 Broker 地址和 Topic 名称，以及使用何种方式来维护 offset（如使用 group.id、auto.offset.reset 等参数）。

使用 ZooKeeper 来协调 Canal 和 Kafka 之间的 offset。这种方式下，Canal 会将 offset 信息记录到 ZooKeeper 上，Kafka 在启动时会先从 ZooKeeper 获取 offset 信息，然后再从对应的位置开始消费数据。这种方式需要在 Canal 和 Kafka 的配置文件中进行相关的修改，配置文件中需要指定 ZooKeeper 的地址和 Kafka 的 Topic 名称等信息。