开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里我PG库的字段类型就出现上面的警告,如果timestamp(3)就可以什么问题?

Flink CDC里我PG库的字段类型就出现上面的警告,如果timestamp(3)就可以。返回的数据:确实没有 create_time字段给过滤了,请问这是什么问题?0442c8df0ec706dc408383682925d162.png2428c507ed98def33a662eaaeb66091a.png9ea3b7d920f75bb5bfbb7d304a97772e.png我用的是flink-sql-connector-postgres-cdc-2.4.1.jar

展开
收起
小小鹿鹿鹿 2024-01-18 00:50:53 65 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个问题可能是由于Flink CDC在处理PostgreSQL数据库时,没有正确地识别到timestamp(3)字段的类型。为了解决这个问题,你可以尝试以下方法:

    1. 确保你的PostgreSQL数据库中确实存在名为timestamp(3)的字段。你可以在数据库中执行以下SQL查询来检查:
    SELECT column_name, data_type
    FROM information_schema.columns
    WHERE table_name = 'your_table_name' AND column_name = 'timestamp(3)';
    
    1. 如果你确定timestamp(3)字段确实存在,但仍然出现警告,你可以尝试在Flink CDC的配置中显式指定timestamp(3)字段的类型。例如,你可以将配置更改为:
    {
      "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
      ...
      "database.hostname": "your_host",
      "database.port": "your_port",
      "database.user": "your_user",
      "database.password": "your_password",
      "database.dbname": "your_dbname",
      "database.server.name": "your_server_name",
      "database.history.kafka.bootstrap.servers": "your_kafka_bootstrap_servers",
      "database.history.kafka.topic": "your_history_kafka_topic",
      "include.schema.changes": true,
      "transforms": "TypeCast(timestamp(3), TIMESTAMP(3))",
      ...
    }
    

    这将告诉Flink CDC将timestamp(3)字段的类型转换为TIMESTAMP(3),从而消除警告。

    2024-01-19 15:38:57
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载