我们通过Flink CDC时间戳偏移量读取mysql binlog，设置了checkpoint，一?

我们通过Flink CDC时间戳偏移量读取mysql binlog，设置了checkpoint，一个taskmanager挂掉，这个任务转移到另一个taskmanager上，报如下错误： Caused by: com.github.shyiko.mysql.binlog.network.ServerException: event read from binlog did not pass crc check; the first event '' at 9451498, the last event read from '/mysql/mysql8636/log/binlog/mysql_bin.000018' at 123, the last byte read from '/mysql/mysql8636/log/binlog/mysql_bin.000018' at 19937258. at com.github.shyiko.mysql.binlog.BinaryLogClient.listenForEventPackets(BinaryLogClient.java:944)但是通过initial的初始化读的话，一个taskmanager挂掉，任务转移到另一个taskmanager上就不会报错。

展开

收起

真的很搞笑 2023-05-23 18:02:46 207 版权

阿里云 AI 助理回答

根据您提供的错误信息和知识库中的相关资料，以下是针对问题的详细解答：

问题分析

报错信息如下：

Caused by: com.github.shyiko.mysql.binlog.network.ServerException: event read from binlog did not pass crc check; the first event '' at 9451498, the last event read from '/mysql/mysql8636/log/binlog/mysql_bin.000018' at 123, the last byte read from '/mysql/mysql8636/log/binlog/mysql_bin.000018' at 19937258.

该错误表明在Flink CDC任务从Checkpoint恢复时，尝试读取MySQL Binlog文件时发生了CRC校验失败。这通常是因为以下原因之一： 1. Binlog文件损坏：MySQL Binlog文件可能由于磁盘故障或其他原因导致数据不完整或损坏。 2. Binlog文件被清理：MySQL服务器上的Binlog文件可能已经被清理，导致无法从指定的位点恢复。 3. 位点不一致：Checkpoint记录的Binlog位点与实际MySQL服务器上的Binlog位点不匹配。

此外，您提到使用initial模式初始化时不会报错，而通过时间戳偏移量（timestamp）读取时会出现问题。这表明问题可能与时间戳偏移量的配置或Checkpoint机制有关。

解决方案

1. 检查Binlog文件是否完整

使用以下命令检查MySQL服务器上是否存在对应的Binlog文件：
```
SHOW BINARY LOGS;
```
如果mysql_bin.000018不在列表中，说明该文件已被清理或丢失。
如果文件存在但可能损坏，可以尝试重新生成Binlog文件：
```
FLUSH LOGS;
```

2. 延长Binlog保留时间

确保MySQL服务器上的Binlog文件保留时间足够长，以避免在Flink任务恢复时Binlog文件被清理。可以通过以下命令设置Binlog保留时间为7天：
```
SET GLOBAL expire_logs_days = 7;
```
同时，建议检查当前的Binlog保留时间：
```
SHOW VARIABLES LIKE 'expire_logs_days';
```

3. 验证Checkpoint记录的位点

Flink CDC会在Checkpoint时记录当前的Binlog位点，日志前缀为Binlog offset on checkpoint {checkpoint-id}。请检查TaskManager日志，确认Checkpoint记录的位点是否与MySQL服务器上的实际位点一致。
如果位点不一致，可以尝试手动调整Checkpoint配置，确保位点记录准确。

4. 调整Flink CDC启动模式

如果使用时间戳偏移量（timestamp）模式读取Binlog时出现问题，可以尝试切换到其他启动模式，例如specific-offset或earliest-offset，以避免因时间戳解析问题导致的错误。

配置示例：

'scan.startup.mode' = 'specific-offset',
'scan.startup.specific-offset.file' = 'mysql_bin.000018',
'scan.startup.specific-offset.pos' = '19937258'

5. 检查MySQL服务器的CRC校验配置

MySQL Binlog支持CRC校验，默认情况下启用。如果Binlog文件损坏或校验失败，可能会导致上述错误。可以通过以下命令检查CRC校验是否启用：
```
SHOW VARIABLES LIKE 'binlog_checksum';
```
如果返回值为CRC32，说明启用了CRC校验。如果怀疑Binlog文件损坏，可以尝试禁用CRC校验（仅用于测试）：
```
SET GLOBAL binlog_checksum = NONE;
```