Flink CDC里mysql-cdc不支持 元数据读取 row_kind 操作类型么？

在Flink CDC中，mysql-cdc连接器确实支持元数据读取功能，但其支持的元数据键是有限的。根据知识库中的描述，mysql-cdc源表支持以下元数据键用于读取：

• database_name：包含该行记录的库名。
• table_name：包含该行记录的表名。
• op_ts：该行记录在数据库中的变更时间。如果记录来自表的存量历史数据而不是从Binlog中获取，则该值总是0。
• op_type：该行记录的变更类型（例如+I表示INSERT，-D表示DELETE，-U表示UPDATE_BEFORE，+U表示UPDATE_AFTER）。

然而，您提到的row_kind并不在上述支持的元数据键列表中。因此，当您尝试在SQL中使用row_kind作为元数据键时，会导致SQL验证失败，并提示类似以下错误信息：

SQL validation failed. Invalid metadata key 'row_kind' in column 'operation' of table 'vvp.default.source_steam_inventory_fingerprint'. The DynamicTableSource class 'com.ververica.cdc.connectors.mysql.table.MySqlTableSource' supports the following metadata keys for reading: table_name, database_name, op_ts

解决方案

如果您需要获取类似于row_kind的操作类型信息，可以通过op_type元数据列来实现。op_type提供了与row_kind类似的功能，能够标识每条记录的变更类型（INSERT、DELETE、UPDATE_BEFORE、UPDATE_AFTER）。以下是具体的实现方式：

1. 使用op_type元数据列

在定义MySQL CDC源表时，可以通过METADATA语法显式声明op_type列，以读取操作类型信息。示例如下：

CREATE TEMPORARY TABLE mysql_source_table (
    db_name STRING METADATA FROM 'database_name' VIRTUAL, -- 读取库名
    table_name STRING METADATA FROM 'table_name' VIRTUAL, -- 读取表名
    operation_ts TIMESTAMP_LTZ(3) METADATA FROM 'op_ts' VIRTUAL, -- 读取变更时间
    op_type STRING METADATA FROM 'op_type' VIRTUAL, -- 读取变更类型
    id INT,
    name STRING,
    PRIMARY KEY(id) NOT ENFORCED
) WITH (
    'connector' = 'mysql-cdc',
    'hostname' = 'your-mysql-host',
    'port' = '3306',
    'username' = 'your-username',
    'password' = 'your-password',
    'database-name' = 'your-database',
    'table-name' = 'your-table'
);

在此示例中，op_type列将包含每条记录的操作类型信息，您可以根据该列的值进行后续处理。

2. 替代row_kind的逻辑处理

如果您需要在下游处理中使用row_kind类似的逻辑，可以通过op_type列的值进行映射。例如：

• +I 对应 INSERT
• -D 对应 DELETE
• -U 对应 UPDATE_BEFORE
• +U 对应 UPDATE_AFTER

您可以在Flink SQL中通过CASE WHEN语句对op_type进行转换，以适配您的业务逻辑。示例如下：

SELECT 
    id,
    name,
    CASE 
        WHEN op_type = '+I' THEN 'INSERT'
        WHEN op_type = '-D' THEN 'DELETE'
        WHEN op_type = '-U' THEN 'UPDATE_BEFORE'
        WHEN op_type = '+U' THEN 'UPDATE_AFTER'
    END AS row_kind
FROM mysql_source_table;

3. 注意事项

• 版本限制：op_type元数据列的支持从vvr-4.0.11-flink-1.13版本开始提供，确保您的Flink版本满足要求。
• 不支持row_kind：mysql-cdc连接器目前并未直接支持row_kind元数据键，因此无法通过METADATA语法直接读取该字段。
• 性能优化：在使用元数据列时，建议根据实际需求选择必要的元数据键，避免引入过多的元数据列导致性能开销增加。

总结

mysql-cdc连接器不支持直接读取row_kind元数据键，但可以通过op_type元数据列实现类似功能。通过显式声明op_type列并结合逻辑处理，您可以满足业务需求。如果仍有疑问，请进一步确认您的Flink版本和具体业务场景，以便提供更精确的支持。