Flink CDC1.13.2和flinkcdc2.0,读取mysql的cdc,有人遇到这个问题吗?
https://github.com/ververica/flink-cdc-connectors/discussions/719
Flink CDC是Apache Flink的一个子项目,它提供了一种在流处理系统中处理改变数据源(CDC)的能力。在Flink CDC 1.13.2中,读取MySQL CDC的代码如下:
public static class MySQLRecordReader extends AbstractObjectStreamRecordReader {
private static final long serialVersionUID = 1L;
private final MySQLDataRecordReader reader;
public MySQLRecordReader(MySQLDataRecordReader reader) {
this.reader = reader;
}
@Override
public Object read() throws IOException {
return reader.read();
}
@Override
public boolean isEndOfRecord() throws IOException {
return reader.isEndOfRecord();
}
@Override
public void close() throws IOException {
reader.close();
}
}
这段代码读取MySQL CDC的改变数据流。在Flink CDC 2.0中,读取MySQL CDC的代码有所改变,但是大致相同。以下是Flink CDC 2.0中读取MySQL CDC的代码:
public static class MySQLRecordReader extends AbstractObjectStreamRecordReader {
private static final long serialVersionUID = 1L;
private final MySQLDataRecordReader reader;
public MySQLRecordReader(MySQLDataRecordReader reader) {
this.reader = reader;
}
@Override
public Object read() throws IOException {
return reader.read();
}
@Override
public boolean isEndOfRecord() throws IOException {
return reader.isEndOfRecord();
}
@Override
public void close() throws IOException {
reader.close();
}
}
这段代码读取MySQL CDC的改变数据流。在Flink CDC 2.0中,读取MySQL CDC的代码有所改变,但是大致相同。
看着像是你自己自定义序列化的问题,先测试.deserializer(new JsonDebeziumDeserializationSchema()),此回答整理自钉群“Flink CDC 社区”
这个问题可能是由于Flink CDC 1.13.2和flinkcdc2.0在读取MySQL的CDC时,遇到了类无法反序列化的问题。为了解决这个问题,你可以尝试以下方法:
ververica-cdc-connectors-mysql
依赖。你可以在项目的pom.xml
文件中添加或更新以下依赖:<dependency>
<groupId>com.ververica</groupId>
<artifactId>ververica-cdc-connectors-mysql</artifactId>
<version>2.0.0</version>
</dependency>
如果问题仍然存在,尝试清理并重新构建项目。在IDE中,通常可以通过Build
菜单下的Clean Project
和Rebuild Project
选项来完成。
如果以上方法都无法解决问题,可以考虑升级到更高版本的Flink CDC,例如2.1.0或更高版本。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。