开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这这么知道是不是日期类型?

Flink CDC这这么知道是不是日期类型?7d80b019d67cc4f10f4cc0e43ad54c3a.png

展开
收起
真的很搞笑 2023-11-22 09:31:42 52 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    在 Flink CDC 中,您可以根据字段名称来判断一个字段是否是日期类型。通常,日期类型的字段名称会包含 date 或 time 关键字。
    此外,您也可以根据字段的数据类型来判断一个字段是否是日期类型。例如,Oracle 数据库中的 DATE 数据类型映射为 Java 的 java.sql.Date 类型,而 TIMESTAMP 数据类型映射为 java.sql.Timestamp 类型。

    2023-11-29 13:35:38
    赞同 展开评论 打赏
  • Flink CDC可以识别日期类型,在处理过程中,如果发现字段是timestamp类型,Flink CDC会将其转换为时间戳。对于MySQL的Date类型数据,Flink CDC读取出来的数据可能会和数据库的日期时间不一致。为了解决这个问题,可以在Flink CDC任务中添加相应的转换器。具体来说,可以在MySQL数据源的debezium.source.converter配置项中指定io.debezium.connector.mysql.converters.TimestampConverter转换器,这样Flink CDC将会将datetime类型转换为ISO-8601格式的字符串,而不是时间戳。此外,还可以通过识别十三位数字进行转换为日期格式,或者对于date类型,人工穷举字段类型进行转换。

    2023-11-29 12:01:11
    赞同 展开评论 打赏
  • 需要你自己搞的哈,不要用官方的 JsonDebeziumDeserializationSchema
    https://ververica.github.io/flink-cdc-connectors/master/content/about.html a8c15e0a9ddb339b5732bd6b2d342a9f.png
    这样你就没问题了吧,字段类型你也拥有了
    schema里面会有data type ,你判断下然后找下对应字段,取值转一下,此回答整理自钉群“Flink CDC 社区”

    2023-11-22 12:11:13
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载