开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc 3.0 同步数据报这个错怎么解决?

flink cdc 3.0 同步数据报这个错怎么解决?;java.lang.IllegalArgumentException: Unable to apply SchemaChangeEvent for table “ot_trade.t_kline_latest_1day” without existing schema;表设置了 CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci 之后报的错,然后加了个amount 字段

展开
收起
cuicuicuic 2024-01-09 11:15:02 86 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个错误是因为在Flink CDC 3.0中,尝试应用一个SchemaChangeEvent到已经存在的表时,没有找到对应的schema。为了解决这个问题,你可以尝试以下步骤:

    1. 确保你的Flink CDC版本是3.0或更高版本。如果不是,请升级到最新版本。

    2. 检查你的Flink CDC配置,确保source.table-config中的connector.table-options包含了正确的字符集和排序规则设置。例如:

    {
      "connector.table-options": {
        "character_set_server": "utf8mb4",
        "collation_server": "utf8mb4_general_ci"
      }
    }
    
    1. 在你的Flink SQL语句中,使用ALTER TABLE语句来添加新的字段。例如:
    ALTER TABLE ot_trade.t_kline_latest_1day
    ADD COLUMN amount FLOAT;
    
    1. 重新运行你的Flink CDC作业,看看是否还会出现相同的错误。如果问题仍然存在,请查看Flink CDC的日志以获取更多详细信息,并考虑在Flink CDC的GitHub仓库中提交一个issue报告这个问题。
    2024-01-09 15:48:33
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载