开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里如果我doris分区字段也设置create_time,怎么做有这个效果?

Flink CDC里如果我doris分区字段也设置create_time,我期望格式是yyyy-MM-dd。也是需要二开将mysql 中create_time 转为 yyyy-MM-dd 吗?

展开
收起
小小鹿鹿鹿 2024-02-01 16:09:46 35 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 Flink CDC 中,如果 Doris 分区字段设置了 create_time,并且你期望的格式是 yyyy-MM-dd,通常需要对从 MySQL 中读取的 create_time 进行转换。

    Flink CDC 提供了数据类型的转换功能,可以将源端的数据类型转换为目标端所需的数据类型。对于日期和时间类型,可以使用 Flink 中的日期和时间函数进行格式化和转换。

    以下是一个示例代码片段,演示如何使用 Flink SQL 将 MySQL 中的 create_time 转换为 yyyy-MM-dd 格式:

    SELECT
        -- 其他字段...
        DATE_FORMAT(create_time, 'yyyy-MM-dd') AS formatted_create_time
    FROM
        KafkaTable;
    

    在上面的代码中,KafkaTable 是代表从 Kafka 中读取数据的表名。你可以根据实际情况将其替换为你所使用的表名。

    通过使用 DATE_FORMAT 函数,并指定 'yyyy-MM-dd' 作为格式化字符串,可以将 create_time 字段转换为你期望的日期格式。

    请注意,上述代码仅展示了如何在 Flink SQL 中进行日期格式转换的部分。你需要将其集成到你的数据处理流程中,确保正确地读取和写入数据。

    2024-02-02 13:59:57
    赞同 展开评论 打赏
  • 一般不会动原字段的。此回答来自钉群Flink CDC 社区。

    2024-02-01 18:33:21
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载