Flink CDC里我mysql 数据库有个表它的字段定义为date类型,比如在数据库中存储的值为2024-02-01,用flink cdc读取binlog这个字段的值变成了数字19754,是什么原因,该怎么解决?
在Flink CDC中,当你遇到MySQL的DATE
类型字段在读取binlog后被转换为数字形式时,这是因为Debezium MySQL Connector在处理DATE
类型的字段时,默认情况下会将其转换为自1970-01-01
以来的天数(即Unix时间戳格式,但不包括小时、分钟、秒部分)。
MySQL的DATE
类型只包含年、月、日信息,而不含时分秒。因此,当你看到如19754
这样的数字,实际上是表示从1970年1月1日开始算起的第19754天,转换回去就是2024年2月1日。
要解决这个问题,确保Debezium正确解析并格式化DATE
字段到你期望的格式,可以在Debezium MySQL Connector的配置中指定如何处理日期类型。例如,可以通过如下配置让Debezium保持原始日期格式:
transforms: format
transforms.format.type: io.debezium.transforms.ByLogicalType
transforms.format.datetime.formats: "yyyy-MM-dd"
# 或者针对特定列进行转换
transforms: format_date
transforms.format_date.type: io.debezium.transforms.ExtractNewRecordState
transforms.format_date.field.whitelist: your_date_field_name
transforms.format_date.datetime.formats: "yyyy-MM-dd"
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。