开发者社区大数据与机器学习正文

Flink CDC 这个问题有大佬遇到过么，binglog日志如果清除了，这个应该怎么处理？

展开

收起

真的很搞笑 2023-05-02 08:01:46 109 版权

阿里云 AI 助理回答

当Flink CDC作业遇到Binlog日志被清除的问题时，通常会导致作业无法继续从正确的位点读取数据，进而报错。以下是针对该问题的详细分析和解决方案：

问题原因

Binlog文件过期时间太短
MySQL服务器上的Binlog文件可能由于配置的保留时间（expire_logs_days）过短而被自动清理。
CDC作业处理速度过慢
如果Flink CDC作业在增量阶段消费Binlog的速度较慢，可能导致作业尚未读取到某些Binlog位点时，这些位点已经被MySQL清理掉。
RDS MySQL的特殊清理策略
阿里云RDS MySQL的日志保留策略可能会导致Binlog在以下情况下被清理：
- 最长保留时间为18小时；
- Binlog占用存储空间超过30%。
只读实例的限制
如果使用RDS MySQL的只读实例作为CDC源表，只读实例的Binlog可能仅保留10秒后上传至OSS。一旦作业Failover后10秒内无法恢复，就会出现Binlog不可用的情况。

解决方案

1. 增加Binlog的保留时间

为了避免Binlog文件因过期被清理，可以通过以下命令调整MySQL的Binlog保留时间：

SHOW VARIABLES LIKE 'expire_logs_days';
SET GLOBAL expire_logs_days=7;

将expire_logs_days设置为7天或更长时间，确保Binlog文件在作业需要的时间范围内可用。

注意：此操作需要管理员权限，并且会增加磁盘使用量，请根据实际情况调整。

2. 提升Flink作业的处理能力

如果CDC作业处理Binlog的速度较慢，可以采取以下措施优化作业性能： - 增加资源分配：为Flink作业分配更多的TaskManager和Slot，提升并行度。 - 优化下游算子：检查是否存在反压（Backpressure），优化聚合算子或Sink算子的逻辑，减少延迟。 - 启用Source复用：通过以下命令开启Source复用功能，减少数据库压力：

SET 'table.optimizer.source-merge.enabled' = 'true';

开启后，具有相同配置参数的MySQL源表会合并Binlog连接数，从而降低数据库负载。

3. 检查是否使用了只读实例

如果CDC源表读取的是RDS MySQL的只读实例，建议切换到主实例。只读实例的Binlog保留时间较短，可能导致作业Failover后无法恢复。

判断方法：通过hostname区分实例类型： - rr开头的hostname表示只读实例； - rm开头的hostname表示主实例。

4. 全新启动作业

如果Binlog已被清理且无法恢复，可以尝试全新启动作业。具体步骤如下： 1. 删除现有状态：确保作业以无状态方式启动，避免因状态不一致导致失败。 2. 重新全量同步：通过scan.startup.mode参数控制作业从最早可用的Binlog位点或最新位点开始消费：

'scan.startup.mode' = 'earliest-offset'

或者指定具体的Binlog位点消费。

5. 使用备份日志（适用于RDS MySQL）

对于阿里云RDS MySQL，如果全量阶段执行时间较长，本地Binlog文件已被清理，但备份日志依然存在，可以通过以下方式利用备份日志：

CREATE TABLE mysql_source (
    ...
) WITH (
    'connector' = 'mysql-cdc',
    'rds.region-id' = 'cn-beijing',
    'rds.access-key-id' = 'xxxxxxxxx',
    'rds.access-key-secret' = 'xxxxxxxxx',
    'rds.db-instance-id' = 'rm-xxxxxxxxxxxxxxxxx',
    'rds.main-db-id' = '12345678',
    'rds.download.timeout' = '60s'
);

此配置允许作业从备份日志中恢复数据，避免因本地Binlog丢失导致的问题。

重要提醒

Binlog格式要求：确保MySQL的Binlog格式为ROW模式。如果当前格式为Mixed或Statement，需修改为ROW模式：
```
SHOW VARIABLES LIKE 'binlog_format';
SET GLOBAL binlog_format=ROW;
```
否则可能导致CDC作业无法正确解析变更事件。
权限检查：确保用于CDC作业的数据库用户具有足够的权限，包括REPLICATION SLAVE和REPLICATION CLIENT等权限。
监控与告警：通过实时计算控制台的监控指标（如currentEmitEventTimeLag）观察作业状态，及时发现并解决潜在问题。