开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教一下大家,谁遇到过Flink这个问题?

请教一下大家,谁遇到过Flink这个问题?
Internal schema representation is probably out of sync with real database schema. The reason could be that the table schema was changed after the starting binlog offset, which is not supported when startup mode is set to TIMESTAMP

展开
收起
真的很搞笑 2023-11-21 08:11:50 98 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    你在使用 Apache Flink 的时候遇到一个问题:"Internal schema representation is probably out of sync with real database schema. The reason could be that the table schema was changed after the starting binlog offset, which is not supported when startup mode is set to TIMESTAMP."
    这个问题是说,在 Flink 的数据库表源中,内部的表结构表示可能与真实的数据库表结构不同步。原因可能是,你在开始 binlog 偏移量之后更改了表结构,这是不允许的,因为启动模式设置为 TIMESTAMP。
    解决这个问题的一种可能方法是,在更改表结构之后,更新 Flink 的 binlog 偏移量以同步内部表结构表示与真实数据库表结构之间的关系。
    此外,如果你正在使用数据库记录流表源(如 MySQL),你应该避免在启动 Flink 应用程序之后更改表结构,以免发生类似的冲突。如果必须更改表结构,可以考虑暂停并重新启动 Flink 应用程序,以便更新其内部表结构表示。

    2023-11-21 14:03:30
    赞同 1 展开评论 打赏
  • 这个问题可能是由于在Flink启动后,表结构发生了变化,而启动模式设置为TIMESTAMP时不支持这种情况导致的。你可以尝试以下方法解决这个问题:

    1. 更改启动模式:将启动模式从TIMESTAMP更改为AUTO_INCREMENT。这样,Flink会在启动时自动查找最新的binlog偏移量,并更新内部schema以匹配数据库schema。

    2. 手动更新内部schema:如果更改启动模式不可行,你可以尝试手动更新Flink的内部schema以匹配数据库schema。这可能需要你重新定义表结构,并将数据重新导入到Flink中。

    3. 使用正确的binlog偏移量:确保在启动Flink之前,选择的binlog偏移量是正确的。你可以查看数据库的binlog日志,找到正确的偏移量,并在启动Flink时指定它。

    2023-11-21 09:16:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载