Golang怎么解析kafka中的binlog数据(未转化json)?

针对非json格式，需要引入对应protobuf进行格式转化

原回答者GitHub用户agapple

在 Golang 中解析 Kafka 中的 binlog 数据，可以使用 Kafka Go 库来读取 Kafka 中的消息，然后使用自定义代码解析 binlog 数据。具体来说，可以按照以下步骤进行操作：

引入 Kafka Go 库：可以使用第三方的 Kafka Go 库，例如 sarama，来读取 Kafka 中的消息。可以在代码中使用 import 语句来引入 sarama 库，例如：import "github.com/Shopify/sarama"。

创建 Kafka 消费者：可以使用 sarama 库中的 Consumer 接口，创建一个 Kafka 消费者，以读取 Kafka 中的消息。例如：

config := sarama.NewConfig() config.Consumer.Return.Errors = true consumer, err := sarama.NewConsumer([]string{"kafka-broker1:9092", "kafka-broker2:9092", "kafka-broker3:9092"}, config) if err != nil { panic(err) }

读取 Kafka 中的消息：可以使用 Kafka 消费者的 Consume 方法，读取 Kafka 中的消息。例如： partitionConsumer, err := consumer.ConsumePartition("my-topic", 0, sarama.OffsetOldest) if err != nil { panic(err) } for { select { case message := <-partitionConsumer.Messages(): // 解析 binlog 数据的代码 case err := <-partitionConsumer.Errors(): log.Println("Error: ", err) } }

解析 binlog 数据：可以根据 MySQL binlog 格式的定义，解析 binlog 数据。根据不同的 binlog 格式，解析方法也不一样。例如，在 row 格式中，可以通过解析 binlog event 的内容，获取到变更的数据库和表名、事件类型、主键等信息，然后根据具体的业务逻辑进行数据处理。需要注意的是，在解析 binlog 数据时，需要了解 MySQL binlog 格式的定义和数据类型转换规则，以确保解析的数据正确无误。 需要注意的是，以上代码仅供参考，实际使用时需要根据具体的业务需求和数据格式进行修改。同时，在使用 Kafka Go 库时，也需要注意 Kafka 的参数设置、消息处理机制等问题，以确保数据能够正确地被读取和处理。