Flink CDC里整库同步得时候怎么排除没有主键得表?

在使用Flink CDC进行整库同步时，如果需要排除没有主键的表，可以通过以下方法实现：

方法一：通过CDAS语句结合正则表达式过滤

在使用CREATE DATABASE AS (CDAS)语句进行整库同步时，可以通过INCLUDING或EXCLUDING关键字结合正则表达式来筛选需要同步的表。具体操作如下：

1. 明确主键表的命名规则
   如果数据库中主键表和无主键表的命名有规律（例如主键表以_pk结尾），可以利用正则表达式匹配主键表。

2. 配置CDAS语句
   在CDAS语句中，使用EXCLUDING关键字排除无主键表。示例如下：

   USE CATALOG holo;
   
   CREATE DATABASE IF NOT EXISTS holo_tpcds
   WITH ('sink.parallelism' = '4')
   AS DATABASE mysql.tpcds INCLUDING ALL TABLES
   EXCLUDING TABLES 'no_pk_table1|no_pk_table2|.*_nopk'
   /*+ OPTIONS('server-id'='8001-8004') */;
   

   说明：
   - EXCLUDING TABLES后接正则表达式，用于指定需要排除的表名模式。 - 示例中排除了名为no_pk_table1、no_pk_table2以及以_nopk结尾的表。

3. 验证同步结果
   执行上述语句后，只有符合规则且包含主键的表会被同步到目标端。

方法二：手动筛选并创建同步任务

如果无法通过正则表达式直接排除无主键表，可以手动筛选出包含主键的表，并为这些表单独创建同步任务。具体步骤如下：

1. 查询MySQL中的表结构
   使用以下SQL语句查询数据库中所有表的主键信息：

   SELECT table_name
   FROM information_schema.tables
   WHERE table_schema = 'your_database_name'
   AND table_name IN (
      SELECT table_name
      FROM information_schema.key_column_usage
      WHERE constraint_name = 'PRIMARY'
   );
   

   说明：
   - 该查询会返回指定数据库中所有包含主键的表名。 - 将结果保存为后续同步任务的依据。

2. 为包含主键的表创建同步任务
   根据查询结果，为每张主键表单独编写CREATE TABLE AS (CTAS)或CREATE DATABASE AS (CDAS)语句。例如：

   CREATE TABLE target_table1
   WITH ('connector' = 'mysql-cdc', ...)
   AS TABLE source_table1;
   
   CREATE TABLE target_table2
   WITH ('connector' = 'mysql-cdc', ...)
   AS TABLE source_table2;
   

3. 部署并运行任务
   将上述任务逐一部署到Flink集群中，确保仅同步包含主键的表。

方法三：通过scan.incremental.snapshot.chunk.key-column处理无主键表

如果某些无主键表必须同步，但又希望避免因缺少主键导致的数据一致性问题，可以通过设置scan.incremental.snapshot.chunk.key-column参数来指定一个非空字段作为分片列。具体配置如下：

1. 检查表结构
   确认无主键表中是否存在非空字段，例如id或created_at。

2. 配置CDC源表参数
   在WITH参数中添加scan.incremental.snapshot.chunk.key-column，指定分片列。例如：

   CREATE TABLE no_pk_table (
      id BIGINT,
      name STRING,
      created_at TIMESTAMP(3)
   ) WITH (
      'connector' = 'mysql-cdc',
      'hostname' = 'your_hostname',
      'port' = '3306',
      'username' = 'your_username',
      'password' = 'your_password',
      'database-name' = 'your_database',
      'table-name' = 'no_pk_table',
      'scan.incremental.snapshot.chunk.key-column' = 'id'
   );
   

   说明：
   - 指定的分片列必须是非空字段，否则会导致作业失败。 - 该方法仅适用于Flink计算引擎VVR 6.0.7及以上版本。

3. 注意数据一致性
   如果指定的分片列可能发生更新操作，则只能保证At least once语义。建议结合下游系统的幂等性逻辑，确保数据正确性。

注意事项

• 主键的重要性：Flink CDC默认要求源表包含主键，因为主键是增量同步和去重的基础。如果表没有主键，可能会导致数据重复或一致性问题。
• 性能优化：对于大规模数据同步任务，建议合理设置server-id范围和分片参数，避免Binlog消费冲突和内存溢出问题。
• 版本兼容性：确保使用的Flink版本支持相关功能（如无主键表同步）。

通过上述方法，您可以有效排除无主键表或针对特定场景灵活处理无主键表的同步需求。