问题一:有咩有碰到Flink CDC这个问题呀?
有咩有大老碰到Flink CDC这个问题呀?并没有file字段,也没有改变schema
参考答案:
这是一个待修复的问题,issue 上直接可以搜file is not a valid field name
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587157
问题二:这个Flink CDC demo一直狂打日志,咋禁?
这个Flink CDC demo一直狂打日志,咋禁?
参考答案:
要禁止Flink CDC demo狂打日志,可以在创建Kafka源表时设置log.minus
参数为true
。这将禁用自动删除旧的日志文件,从而减少日志输出。以下是一个示例:
Table sourceTable = ...; // 创建Kafka源表 sourceTable = sourceTable.changelog() .withSchema(sourceSchema) .withStartupMode(StartupMode.EARLIEST) .withLogMinus(true) // 禁用自动删除旧的日志文件 .build();
这样,Flink CDC demo将不再狂打日志。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587153
问题三:阿里Flink CDC的rds数据库,flinkcdc只能同步21个任务,这个有遇到过吗?
阿里Flink CDC的rds数据库,flinkcdc只能同步21个任务,这个有大佬遇到过吗?报这错
参考答案:
同一个jm下的程序,连接池默认20个
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587152
问题四:flink cdc 3.0 同步数据报这个错怎么解决?
flink cdc 3.0 同步数据报这个错怎么解决?;java.lang.IllegalArgumentException: Unable to apply SchemaChangeEvent for table “ot_trade.t_kline_latest_1day” without existing schema;表设置了 CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci 之后报的错,然后加了个amount 字段
参考答案:
这个错误是因为在Flink CDC 3.0中,尝试应用一个SchemaChangeEvent
到已经存在的表时,没有找到对应的schema。为了解决这个问题,你可以尝试以下步骤:
- 确保你的Flink CDC版本是3.0或更高版本。如果不是,请升级到最新版本。
- 检查你的Flink CDC配置,确保
source.table-config
中的connector.table-options
包含了正确的字符集和排序规则设置。例如:
{ "connector.table-options": { "character_set_server": "utf8mb4", "collation_server": "utf8mb4_general_ci" } }
- 在你的Flink SQL语句中,使用
ALTER TABLE
语句来添加新的字段。例如:
ALTER TABLE ot_trade.t_kline_latest_1day ADD COLUMN amount FLOAT;
- 重新运行你的Flink CDC作业,看看是否还会出现相同的错误。如果问题仍然存在,请查看Flink CDC的日志以获取更多详细信息,并考虑在Flink CDC的GitHub仓库中提交一个issue报告这个问题。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587151
问题五:使用flink-cdc中出现cause by :这个问题你们一般怎么解决的?
有大佬使用flink-cdc中出现cause by :org.apache.flink.util.SerializiedThrowable:GC overhead limit exceeded 这个问题你们一般怎么解决的?
参考答案:
可以用Queue,用代码的话可以自定义序列化器可以控制数据的的速率
关于本问题的更多回答可点击进行查看: