Flink CDC 里高版本的 mysql cdc 取消掉这种创建数据源的方式了吗？

在 Flink CDC 中，高版本的 MySQL CDC 连接器并未完全取消通过代码或 SQL 配置的方式来创建数据源，但其配置方式和使用方法可能会根据版本的不同有所调整。以下是针对您问题的详细解答：

1. Flink CDC 数据源创建方式的变化

在早期版本中，Flink CDC 的 MySQL 数据源通常通过直接在 SQL 或代码中定义连接参数（如 JDBC URL、用户名、密码等）来创建数据源。然而，随着版本的演进，尤其是高版本（如 VVR 8.0.x 及以上），推荐的方式是通过配置文件或更规范化的参数设置来管理数据源。

• 低版本支持的方式： 在低版本中，可以直接在 SQL 中通过 WITH 子句定义数据源参数，例如：

  CREATE TABLE mysql_source (
  id INT,
  name STRING,
  PRIMARY KEY (id) NOT ENFORCED
  ) WITH (
  'connector' = 'mysql-cdc',
  'hostname' = 'your-mysql-host',
  'port' = '3306',
  'username' = 'your-username',
  'password' = 'your-password',
  'database-name' = 'your-database',
  'table-name' = 'your-table'
  );
  

• 高版本的变化： 在高版本中，虽然仍然可以通过 SQL 定义数据源，但为了提升性能和可维护性，建议将部分配置（如分片参数、Binlog 连接优化等）通过配置文件或运行时参数进行管理。这种方式可以更好地支持复杂场景下的优化需求。

2. AnalyticDB for MySQL 3.0 数据源的配置方式

对于 AnalyticDB for MySQL 3.0（ADB 3.0），其作为 Flink 的数据源时，配置方式与普通 MySQL 数据源类似，但也有一些特定的要求：

• SQL 配置方式： ADB 3.0 支持通过 SQL 创建数据源，示例如下：

  CREATE TEMPORARY TABLE adb_table (
  id INT,
  num BIGINT,
  PRIMARY KEY (id) NOT ENFORCED
  ) WITH (
  'connector' = 'adb3.0',
  'url' = 'jdbc:mysql://your-adb-host:port/dbname',
  'userName' = 'your-username',
  'password' = 'your-password',
  'tableName' = 'your-tablename'
  );
  

  注意：在 Flink DDL 中定义的主键必须与 ADB MySQL 数据库物理表中的主键保持一致，否则可能影响数据正确性。

• 配置文件方式： 如果需要更复杂的配置（如分片优化、内存调优等），可以通过配置文件或运行时参数进行管理。例如：

  • 调整分片参数以避免 OOM：

  scan.incremental.snapshot.chunk.size=1000
  taskmanager.memory.process.size=4g
  

  • 开启 Source 复用以减少 Binlog 连接数：

  SET 'table.optimizer.source-merge.enabled' = 'true';
  

3. 是否必须走配置文件？

• 不一定必须走配置文件：Flink CDC 和 ADB 3.0 数据源仍然支持通过 SQL 直接定义数据源，尤其是在简单场景下，这种方式更加便捷。
• 推荐使用配置文件的场景：
  • 当需要对分片参数、内存分配等进行精细化控制时。
  • 当作业中包含多张 MySQL 源表，且需要开启 Source 复用功能时。
  • 在高并发或大数据量场景下，通过配置文件可以更好地优化性能。

4. 重要提醒

• 主键一致性：在 Flink DDL 中定义的主键必须与 ADB MySQL 数据库物理表中的主键保持一致，否则可能导致数据不一致。
• 版本兼容性：确保使用的 Flink 版本与 ADB 3.0 连接器版本兼容。例如，源表功能仅在 Flink 计算引擎 VVR 8.0.4 及以上版本支持。
• Source 复用注意事项：
  • 开启 Source 复用后，建议无状态启动作业。
  • 不建议将 pipeline.operator-chaining 设为 false，否则可能导致序列化开销增加。

综上所述，Flink CDC 高版本并未取消通过 SQL 创建数据源的方式，但在复杂场景下推荐使用配置文件进行管理。对于 AnalyticDB for MySQL 3.0，既可以通过 SQL 定义数据源，也可以通过配置文件优化性能。具体选择取决于实际业务需求和场景复杂度。