实时计算 Flink版操作报错之遇到 "The column 'AdminCode' is referenced as PRIMARY KEY, but a matching column is not defined in table 'tx.dbo.MS

实时计算 Flink版操作报错之遇到 "The column 'AdminCode' is referenced as PRIMARY KEY, but a matching column is not defined in table 'tx.dbo.MS_tkBa'!" 是什么情况

2024-05-23 313

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

实时计算 Flink 版，1000CU*H 3个月

简介： 在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

问题一：把【Flink-sql-connector-oceanbase-cdc】为什么会出现这么一个报错呢？

把【Flink-sql-connector-oceanbase-cdc】这个jar包的版本替换为【3.0.0】，现在报了另外一个错误【'oceanbase.a.ts_type' is not in GROUP BY】，但是我在【flink sql】中就只是做了个简单的sql查询并且没有用到这个表中的ts_type字段，为什么会出现这么一个报错呢？

参考回答：

可能是这个引入的问题，换成 2.4.2 试试吧https://github.com/ververica/flink-cdc-connectors/pull/2565

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/580715

问题二：Flink CDC如果有外键关联，主键还是自定义的，和另一张表有关联，那张表是不是也得要开启cdc？

Flink CDC如果有外键关联，主键还是自定义的，和另一张表有关联，那张表是不是也得要开启cdc？Caused by: java.lang.IllegalArgumentException: The column "AdminCode" is referenced as PRIMARY KEY, but a matching column is not defined in table "tx.dbo.MS_tkBa"!还有其他可能吗，大佬们，如果可以的话，请指教

参考回答：

关于 Flink CDC 中的外键关联问题，如果你的主键是自定义的并且与其他表有关联，那么通常需要确保相关表也开启了 CDC。这是因为 Flink CDC 在处理数据变更时需要维护数据的一致性和完整性，包括外键约束。如果你遇到 "The column 'AdminCode' is referenced as PRIMARY KEY, but a matching column is not defined in table 'tx.dbo.MS_tkBa'!" 这样的错误，这可能是因为你的主键引用了另一个表中的列（如 'AdminCode'），但是该列在目标表 'tx.dbo.MS_tkBa' 中不存在或者定义不正确。为了解决这个问题，你可以尝试以下方法：

检查你的表结构和外键定义，确保它们在源和目标表中都是一致的。
确保相关的表都已经开启了 CDC，并且 Flink CDC 配置正确地包含了这些表的变更数据。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/580714

问题三：使用【flink cdc】的方式从【oceanbase数据库】同步数据到是什么原因导致的呢？

使用【flink cdc】的方式从【oceanbase数据库】同步数据到【doris 数据库】，期间遇到了这么一个报错【unsupported protocol version】，是什么原因导致的呢？如何解决这个报错？flink 版本： 1.15.0flink-sql-connector-oceanbase-cdc 版本： 2.2.0oceanbase 版本： 4.2.1oblogproxy 版本： 2.3.4

参考回答：

看着像驱动不适配，不是cdc的驱动哈，https://ververica.github.io/flink-cdc-connectors/master/content/connectors/oceanbase-cdc%28ZH%29.html![image.png](https://ucc.alicdn.com/pic/developer-ecology/wyvq5mjsckydw_8d6aac2e4dd74b1e8e07b45a740f6607.png)

cc这个能不能解决你的问题，看起来可能的原因有两个，一个是flink cdc 的包太老了，里面带的 logclient 比较老，另一个是 logproxy 和数据库版本不匹配。可以先换新版的 jar 包试一下

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/580707

问题四：Flink CDC中oracle cdc获取到数据修改时候会有这个错，有知道这是啥问题吗？

Flink CDC中oracle cdc获取到数据修改时候会有这个错，有兄弟知道这是啥问题吗？file is not a valid field name，at org.apache.kafka.connect.data.Struct.lookupField(Struct.java:254)这个时候报的？

参考回答：

在 Flink CDC 中使用 Oracle CDC 获取数据修改时遇到 "file is not a valid field name" 错误，这可能是因为你的数据包含了一个名为 "file" 的字段，但是该字段在目标表结构中不存在或者与预期类型不符。为了解决这个问题，你可以尝试以下方法：