如何保障flink cdc采集任务能在MySQL 多个备库中？

要保障 Flink CDC 采集任务能够在 MySQL 的多个备库中正常运行，并在当前备库挂掉时能够随意切换到另一个备库，可以按照以下步骤进行配置和操作：

1. 配置 MySQL 备库的高可用连接

Flink CDC 连接器支持通过 JDBC URL 配置多个备库地址，从而实现高可用性。具体方法如下：

• 在 hostname 参数中使用逗号分隔多个备库地址，例如：

  'hostname' = 'slave1-host,slave2-host,slave3-host'
  

  这样，当 Flink CDC 检测到当前连接的备库不可用时，会自动尝试连接其他备库。

• 如果需要更复杂的负载均衡或故障转移策略，可以通过 MySQL 的 Proxy（如 ProxySQL 或 MaxScale）来管理多个备库的连接。在这种情况下，只需将 hostname 配置为 Proxy 的地址即可。

2. 启用 Binlog 同步

确保所有备库都启用了 Binlog 功能，并且主库的 Binlog 能够正确同步到所有备库。以下是关键配置项：

• 在 MySQL 主库的配置文件中（如 my.cnf），确保以下参数已启用：

  log-bin=mysql-bin
  server-id=1
  binlog-format=ROW
  

• 在每个备库中，确保 server-id 唯一，并且启用了只读模式（read-only=1）。

3. 配置 Flink CDC 的 Server ID 范围

为了支持多并发读取和高可用性，建议为 Flink CDC 配置一个范围的 server-id，以避免多个任务之间的冲突。示例如下：

WITH (
    'connector' = 'mysql-cdc',
    'hostname' = 'slave1-host,slave2-host,slave3-host',
    'port' = '3306',
    'username' = 'flinkuser',
    'password' = 'flinkpw',
    'database-name' = 'mydb',
    'table-name' = 'orders',
    'server-id' = '5000-6000' -- 配置一个范围的 server-id
)

注意：server-id 的范围需要足够大，以支持并发任务的数量。

4. 监控和告警

通过 Flink 的监控指标（如 currentEmitEventTimeLag）来判断 CDC 任务是否正常运行。如果当前备库挂掉，Flink CDC 会尝试重新连接其他备库。您可以通过以下方式监控任务状态：

• currentEmitEventTimeLag 指标：
  • 当该指标小于等于 0 时，表示任务仍在全量数据同步阶段。
  • 当该指标大于 0 时，表示任务已完成全量同步并进入 Binlog 读取阶段。
• 日志排查：
  • 检查 Flink TaskManager 日志中是否有 BinlogSplitReader is created 的日志，确认是否成功切换到新的备库。

5. 优化网络和带宽

由于 MySQL 的 Binlog 是实例级别的，即使只读取部分表的数据，也会包含整个实例的所有变更记录。这可能导致带宽消耗较大。为减少带宽压力，可以采取以下措施：

• Source 复用：
  • 为多个 CDC 任务配置相同的 server-id，实现数据源复用，避免重复读取 Binlog 数据。
• Kafka 解耦：
  • 将 MySQL 的 Binlog 数据先同步到 Kafka，再由 Flink 消费 Kafka 中的数据。这种方式可以有效降低对 MySQL 的直接压力。

6. 测试和验证

在正式环境中部署前，建议进行以下测试：

• 故障切换测试：
  • 手动关闭当前备库，观察 Flink CDC 是否能自动切换到其他备库。
• 性能测试：
  • 测试在高并发和大数据量场景下的任务表现，确保系统稳定性和性能满足需求。

7. 重要提醒

• 主键唯一性：在分库分表场景下，确保逻辑表的联合主键（如 _db_name, _table_name, id）唯一，以避免数据冲突。
• 白名单配置：如果 Flink 和 MySQL 备库不在同一 VPC 内，需确保备库的公网地址已添加到白名单中。

通过以上配置和优化，您可以确保 Flink CDC 采集任务在 MySQL 多个备库中高可用运行，并在当前备库挂掉时无缝切换到其他备库。