Flink CDC产品常见问题之binlog 过期如何解决-阿里云开发者社区

Flink CDC产品常见问题之binlog 过期如何解决

2024-03-14 558

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： Flink CDC（Change Data Capture）是一个基于Apache Flink的实时数据变更捕获库，用于实现数据库的实时同步和变更流的处理；在本汇总中，我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答，目的是辅助用户更好地理解和应用这一技术，优化实时数据处理流程。

问题一：通过Flink CDC 同步db2表数据，为什么db2数据类型是xml时候，捕获的日志中不包含呢？

通过Flink CDC 同步db2表数据，为什么db2数据类型是xml时候，捕获的日志中不会包含该字段，比如db2:create table SUPPLIERS

(

SID VARCHAR(10) not null

constraint PK_PRODUCTSUPPLIER

primary key,

ADDR XML

); 日志：record: {"before":null,"after":{"SID":"100"},"source":{"version":"1.9.7.Final","connector":"db2","name":"db2_cdc_source","ts_ms":1708200234371,"snapshot":"true","db":"doriscdc","sequence":null,"schema":"DB2INST1","table":"SUPPLIERS","change_lsn":null,"commit_lsn":null},"op":"r","ts_ms":1708229034630,"transaction":null}

参考答案：

xml 和Boolean好像都有这个问题。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/598579?spm=a2c6h.12873639.article-detail.82.50e24378TRW91E

问题二：Flink CDC里flink1.18.1执行sql报错那里有问题？

flink cdc 里flink1.18.1执行sql报错，Caused by: java.lang.ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter，是哪里有问题？另外有引入也有flink-client，可以帮忙看下吗？

参考答案：

那只能怀疑是包冲突了，建议排查看看吧。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/598577?spm=a2c6h.12873639.article-detail.83.50e24378TRW91E

问题三：Flink CDC里这俩是什么关系？

Flink CDC里flink-connector-oracle-cdc-3.0-SNAPSHOT和flink-sql-connector-oracle-cdc-3.0-SNAPSHOT是啥关系呀？

参考答案：

包含关系。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/597944?spm=a2c6h.12873639.article-detail.84.50e24378TRW91E

问题四：Flink CDC里为什么这里又要重新定义一遍options呀？

https://github.com/ververica/flink-cdc-connectors/blob/master/flink-cdc-connect/flink-cdc-pipeline-connectors/flink-cdc-pipeline-connector-doris/src/main/java/com/ververica/cdc/connectors/doris/sink/DorisDataSinkOptions.java

Flink CDC里为什么这里又要重新定义一遍options呀？doris官方的flink connector不是有options吗？唯一不同的是ConfigOption包名，一个来自ververica，另一个来自flink

参考答案：

在 Apache Flink CDC 中，你可能会遇到需要重新定义连接器选项的情况，这是因为不同的Flink connector可能来自不同的开发团队或项目，它们在设计和实现时可能使用了不同的配置选项接口或包。例如，Ververica（原DataArtisans，被阿里云收购后继续贡献Flink）可能为Flink CDC提供了一套特定的连接器，并使用了来自com.ververica.cdc.connectors.mydatabase.MyDatabaseOptions之类的包中的ConfigOption。

而Doris官方或者社区提供的Flink connector可能有不同的实现方式，因此其配置选项可能位于org.apache.flink.connector.doris.options.DorisOptions等这样的包中。

尽管两者都是为了连接到数据源并配置相关参数，但由于这些connector是独立开发的组件，其内部使用的配置API和结构并不相同。这意味着当你要切换或同时使用不同来源的connector时，必须按照对应connector文档提供的指南来设置相应的配置选项。

所以，即使目标都是Doris，但基于Flink CDC的不同connector实现版本，用户可能需要根据所选用的connector重新定义相关的options配置。这有助于确保正确解析和应用配置信息到对应的connector实例上。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/597940?spm=a2c6h.12873639.article-detail.85.50e24378TRW91E