问题一:通过Flink CDC 同步db2表数据,为什么db2数据类型是xml时候,捕获的日志中不包含呢?
通过Flink CDC 同步db2表数据,为什么db2数据类型是xml时候,捕获的日志中不会包含该字段,比如db2:create table SUPPLIERS
(
SID VARCHAR(10) not null
constraint PK_PRODUCTSUPPLIER
primary key,
ADDR XML
); 日志:record: {"before":null,"after":{"SID":"100"},"source":{"version":"1.9.7.Final","connector":"db2","name":"db2_cdc_source","ts_ms":1708200234371,"snapshot":"true","db":"doriscdc","sequence":null,"schema":"DB2INST1","table":"SUPPLIERS","change_lsn":null,"commit_lsn":null},"op":"r","ts_ms":1708229034630,"transaction":null}
参考答案:
xml 和Boolean好像都有这个问题。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/598579?spm=a2c6h.12873639.article-detail.82.50e24378TRW91E
问题二:Flink CDC里flink1.18.1执行sql报错那里有问题?
flink cdc 里flink1.18.1执行sql报错,Caused by: java.lang.ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter,是哪里有问题?另外有引入也有flink-client,可以帮忙看下吗?
参考答案:
那只能怀疑是包冲突了,建议排查看看吧。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/598577?spm=a2c6h.12873639.article-detail.83.50e24378TRW91E
问题三:Flink CDC里这俩是什么关系?
Flink CDC里flink-connector-oracle-cdc-3.0-SNAPSHOT和flink-sql-connector-oracle-cdc-3.0-SNAPSHOT是啥关系呀?
参考答案:
包含关系 。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/597944?spm=a2c6h.12873639.article-detail.84.50e24378TRW91E
问题四:Flink CDC里为什么这里又要重新定义一遍options呀?
Flink CDC里为什么这里又要重新定义一遍options呀?doris官方的flink connector不是有options吗?唯一不同的是ConfigOption包名,一个来自ververica,另一个来自flink
参考答案:
在 Apache Flink CDC 中,你可能会遇到需要重新定义连接器选项的情况,这是因为不同的Flink connector可能来自不同的开发团队或项目,它们在设计和实现时可能使用了不同的配置选项接口或包。例如,Ververica(原DataArtisans,被阿里云收购后继续贡献Flink)可能为Flink CDC提供了一套特定的连接器,并使用了来自com.ververica.cdc.connectors.mydatabase.MyDatabaseOptions
之类的包中的ConfigOption
。
而Doris官方或者社区提供的Flink connector可能有不同的实现方式,因此其配置选项可能位于org.apache.flink.connector.doris.options.DorisOptions
等这样的包中。
尽管两者都是为了连接到数据源并配置相关参数,但由于这些connector是独立开发的组件,其内部使用的配置API和结构并不相同。这意味着当你要切换或同时使用不同来源的connector时,必须按照对应connector文档提供的指南来设置相应的配置选项。
所以,即使目标都是Doris,但基于Flink CDC的不同connector实现版本,用户可能需要根据所选用的connector重新定义相关的options配置。这有助于确保正确解析和应用配置信息到对应的connector实例上。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/597940?spm=a2c6h.12873639.article-detail.85.50e24378TRW91E
问题五:Flink CDC里那binlog 过期 怎么处理呢?
Flink CDC里那binlog 过期 怎么处理呢?
参考答案:
增加binlog 保留时间,或者增加并发加快全量同步,反正全量结束后,可以将并发改成1重启的。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/597939?spm=a2c6h.12873639.article-detail.86.50e24378TRW91E