Flink CDC里 CDC 3.0怎么配置transform操作？

在Flink CDC 3.0中，transform操作用于对流经Flink管道的数据进行处理和转换。通过配置YAML文件中的transform模块，可以实现数据的投影、过滤、列裁剪、计算列等功能。以下是详细的配置方法和步骤：

1. Transform模块的基本语法结构

transform模块的语法结构如下：

transform:
 - source-table: <上游表名>
   projection: <投影规则>
   filter: <过滤规则>
   primary-keys: <主键列表>
   partition-keys: <分区键列表>
   table-options: <额外配置信息>
   description: <描述信息>
   converter-after-transform: <转换器>

2. 配置项详解

以下是transform模块中各配置项的具体含义及使用方法：

(1) source-table

• 含义：指定需要应用转换规则的上游表。
• 是否必填：是。
• 支持功能：支持使用正则表达式匹配多个表。
• 示例：

  source-table: db.tbl1
  

(2) projection

• 含义：定义保留或新增的列，类似于SQL中的SELECT语句。
• 是否必填：否。
• 注意事项：
  • 如果不填写，则不会对列进行任何修改。
  • 如果需要同步上游表结构变更到下游，需手动定义projection: *。
• 示例：
  • 保留部分列：

  projection: id, name
  

  • 定义计算列：

  projection: id, id + 1 AS inc_id
  

(3) filter

• 含义：定义行过滤规则，类似于SQL中的WHERE语句。
• 是否必填：否。
• 示例：

  filter: age > 18
  

(4) primary-keys

• 含义：设置转换后Schema的主键列表。
• 是否必填：否。
• 默认行为：如果不填写，则保留原Schema的主键定义。
• 示例：

  primary-keys: id
  

(5) partition-keys

• 含义：设置转换后的分区键列表。
• 是否必填：否。
• 默认行为：如果不填写，则保留原Schema的分区键定义。
• 示例：

  partition-keys: region
  

(6) table-options

• 含义：传递给Sink的额外配置信息。
• 是否必填：否。
• 格式：key=value形式，多个配置项用逗号分隔。
• 示例：

  table-options: bucket=10, comment='example'
  

(7) description

• 含义：为该transform块添加描述信息。
• 是否必填：否。

(8) converter-after-transform

• 含义：在transform后对数据进行额外处理的转换器。
• 是否必填：否。
• 支持值：目前仅支持SOFT_DELETE（VVR 8.0.11及以上版本支持）。
• 示例：

  converter-after-transform: SOFT_DELETE
  

3. 示例：完整的Transform配置

以下是一个完整的transform模块配置示例，展示如何对数据进行投影、过滤和计算列操作：

transform:
 - source-table: db.tbl1
   projection: id, name, salary * 1.1 AS adjusted_salary
   filter: salary > 5000
   primary-keys: id
   partition-keys: department
   table-options: bucket=5
   description: Adjust salaries and filter high earners

4. 注意事项

• 计算列限制：计算列的表达式不能引用其他计算列的值，即使被引用的列出现在该计算列之前。例如，以下配置是非法的：

  projection: a, b AS c, c AS d
  

  原因：c依赖于b，而d又依赖于c，这会导致解析错误。

• 表结构变更同步：如果需要将上游表结构变更自动同步到下游，必须显式定义projection: *，否则可能导致下游表结构不同步。

• 性能优化：在增量读取阶段，Flink CDC 3.0会自动关闭空闲读取器以节省计算资源，因此无需手动管理连接。

5. 总结

通过上述配置，您可以灵活地使用Flink CDC 3.0的transform模块对数据进行处理和转换。根据实际需求，合理配置projection、filter等参数，能够满足复杂的数据同步场景。