开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里我mysql 数据库有个表它的字段定义为date类型,数值变化什么原因?

Flink CDC里我mysql 数据库有个表它的字段定义为date类型,比如在数据库中存储的值为2024-02-01,用flink cdc读取binlog这个字段的值变成了数字19754,是什么原因,该怎么解决?dcfdadf858ba64ea56e37d22467ccc1d.png1e2c57c1af4899ee4f6a84aef64482c6.png

展开
收起
小小鹿鹿鹿 2024-02-06 21:15:54 303 0
2 条回答
写回答
取消 提交回答
  • 在Flink CDC中,当你遇到MySQL的DATE类型字段在读取binlog后被转换为数字形式时,这是因为Debezium MySQL Connector在处理DATE类型的字段时,默认情况下会将其转换为自1970-01-01以来的天数(即Unix时间戳格式,但不包括小时、分钟、秒部分)。

    MySQL的DATE类型只包含年、月、日信息,而不含时分秒。因此,当你看到如19754这样的数字,实际上是表示从1970年1月1日开始算起的第19754天,转换回去就是2024年2月1日。

    要解决这个问题,确保Debezium正确解析并格式化DATE字段到你期望的格式,可以在Debezium MySQL Connector的配置中指定如何处理日期类型。例如,可以通过如下配置让Debezium保持原始日期格式:

    transforms: format
    transforms.format.type: io.debezium.transforms.ByLogicalType
    transforms.format.datetime.formats: "yyyy-MM-dd"
    
    # 或者针对特定列进行转换
    transforms: format_date
    transforms.format_date.type: io.debezium.transforms.ExtractNewRecordState
    transforms.format_date.field.whitelist: your_date_field_name
    transforms.format_date.datetime.formats: "yyyy-MM-dd"
    
    2024-02-19 15:26:53
    赞同 展开评论 打赏
  • 改成datetime。pekko.ask.timeout 参数调大一些。此回答来自钉群Flink CDC 社区。

    2024-02-06 22:08:20
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载