大佬们，请问 MySQL-CDC 有什么办法将 upsert 消息转换为 append only 消

在处理MySQL-CDC数据流时，若需将包含upsert（更新或插入）消息转换为append only（仅追加）消息，即忽略数据的更新或删除操作，专注于记录数据的新增状态，可以通过配置数据接收端或者在ETL流程中调整策略来实现。以下是一种基于阿里云DTS服务和Flink SQL的解决方案思路：

操作说明

用户希望在使用MySQL-CDC作为数据源时，将接收到的upsert类型变更数据处理为只包含插入（append）的消息，以适应不支持更新或删除逻辑的下游系统。

步骤与方法

1. 使用Flink SQL配置：

   • 当使用Apache Flink进行数据处理时，可以利用其SQL接口配置MySQL-CDC源表时，通过特定参数设定使得输出结果表现为仅追加模式。

2. 配置scan.read-changelog-as-append-only: 在Flink SQL中定义MySQL-CDC源表时，通过WITH子句中的scan.read-changelog-as-append-only.enabled参数设置为true，这样会将所有变更视为追加操作。参考示例中，如果下游表的主键设计得当，此配置可确保输出为append only形式。

CREATE TEMPORARY TABLE mysql_orders (
  ...字段定义...
) WITH (
  ...其他配置...,
  'scan.read-changelog-as-append-only.enabled' = 'true'
);

1. 考虑下游表结构：
   • 确保下游数据库表设计为能够接受append only数据流，例如，避免唯一键冲突，或通过合适的时间戳/版本字段管理数据的新旧版本。

注意事项

• 下游影响：转换为append only模式后，下游系统需能处理可能的数据重复问题，尤其是当原始数据有更新操作时。
• 主键策略：下游表的主键设计至关重要，它决定了如何解析和存储这些append only消息，以避免数据冗余或冲突。
• 版本兼容性：请确认使用的Flink版本支持上述特性，如实时计算引擎VVR 8.0.7及以上版本支持MySQL CDC源表。

示例与参考

• 上述配置示例展示了如何在Flink SQL中直接控制MySQL-CDC源的输出行为，使其适应append only场景需求。

综上所述，通过在Flink SQL层面配置MySQL-CDC读取选项，可以有效地将包含upsert操作的数据流转换为append only模式，满足特定下游系统的处理要求。