实时计算 Flink版操作报错合集之在使用RDS数据库作为源端，遇到只能同步21个任务，是什么导致的

问题一：有咩有碰到Flink CDC这个问题呀？

有咩有大老碰到Flink CDC这个问题呀？并没有file字段，也没有改变schema

参考答案：

这是一个待修复的问题，issue 上直接可以搜file is not a valid field name

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/587157

问题二：这个Flink CDC demo一直狂打日志，咋禁？

这个Flink CDC demo一直狂打日志，咋禁？

参考答案：

要禁止Flink CDC demo狂打日志，可以在创建Kafka源表时设置log.minus参数为true。这将禁用自动删除旧的日志文件，从而减少日志输出。以下是一个示例：

Table sourceTable = ...;
// 创建Kafka源表
sourceTable = sourceTable.changelog()
    .withSchema(sourceSchema)
    .withStartupMode(StartupMode.EARLIEST)
    .withLogMinus(true) // 禁用自动删除旧的日志文件
    .build();

这样，Flink CDC demo将不再狂打日志。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/587153

问题三：阿里Flink CDC的rds数据库，flinkcdc只能同步21个任务，这个有遇到过吗？

阿里Flink CDC的rds数据库，flinkcdc只能同步21个任务，这个有大佬遇到过吗？报这错

参考答案：

同一个jm下的程序，连接池默认20个

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/587152

问题四：flink cdc 3.0 同步数据报这个错怎么解决？

flink cdc 3.0 同步数据报这个错怎么解决？；java.lang.IllegalArgumentException: Unable to apply SchemaChangeEvent for table “ot_trade.t_kline_latest_1day” without existing schema；表设置了 CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci 之后报的错，然后加了个amount 字段

参考答案：

这个错误是因为在Flink CDC 3.0中，尝试应用一个SchemaChangeEvent到已经存在的表时，没有找到对应的schema。为了解决这个问题，你可以尝试以下步骤：

1. 确保你的Flink CDC版本是3.0或更高版本。如果不是，请升级到最新版本。
   
2. 检查你的Flink CDC配置，确保source.table-config中的connector.table-options包含了正确的字符集和排序规则设置。例如：
   

{
  "connector.table-options": {
    "character_set_server": "utf8mb4",
    "collation_server": "utf8mb4_general_ci"
  }
}

1. 在你的Flink SQL语句中，使用ALTER TABLE语句来添加新的字段。例如：

ALTER TABLE ot_trade.t_kline_latest_1day
ADD COLUMN amount FLOAT;

1. 重新运行你的Flink CDC作业，看看是否还会出现相同的错误。如果问题仍然存在，请查看Flink CDC的日志以获取更多详细信息，并考虑在Flink CDC的GitHub仓库中提交一个issue报告这个问题。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/587151

问题五：使用flink-cdc中出现cause by :这个问题你们一般怎么解决的？

有大佬使用flink-cdc中出现cause by :org.apache.flink.util.SerializiedThrowable:GC overhead limit exceeded 这个问题你们一般怎么解决的？

参考答案：

可以用Queue，用代码的话可以自定义序列化器可以控制数据的的速率

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/587147