请问flinc cdc 中cdc转换器的这个功能能禁用吗?

2023-07-13 19:36:51,244 WARN io.debezium.connector.mysql.MySqlValueConverters [] - Invalid value '0000-00-00 00:00:00.000' stored in column 'refundtime' of table 'db.t1' converted to empty value

请问flinc cdc 中cdc转换器的这个功能能禁用吗?让他原样输出'0000-00-00 00:00:00.000' ,sql方式。

展开
收起
十一0204 2023-07-19 18:38:23 106 分享 版权
1 条回答
写回答
取消 提交回答
  • Flink CDC(Change Data Capture)中的转换器用于将源表的数据类型转换为 Flink 中的对应数据类型。默认情况下,CDC 转换器会将无效值(例如 '0000-00-00 00:00:00.000')转换为空值(empty value)。

    如果您想要禁用 CDC 转换器的功能,以便原样输出无效值,可以通过以下方式进行配置:

    1. 在 Flink 中使用 CDC connector 的 JSON 配置文件时,在 debezium.transforms 部分添加以下配置:
    "transforms": "outbox",
    "transforms.outbox.type": "io.debezium.transforms.ExtractNewRecordState",
    "transforms.outbox.drop.tombstones": false
    
    1. 如果您使用编程方式配置 Flink CDC connector,可以在 Properties 对象中添加以下配置:
    properties.setProperty("transforms", "outbox");
    properties.setProperty("transforms.outbox.type", "io.debezium.transforms.ExtractNewRecordState");
    properties.setProperty("transforms.outbox.drop.tombstones", "false");
    

    上述配置中,transforms.outbox.drop.tombstones 设置为 false 将禁止丢弃无效值。

    2023-07-28 23:36:04
    赞同 展开评论

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

还有其他疑问?
咨询AI助理