问题一:Flink CDC一个sql文件里面执行多个sink会报错吗?
Flink CDC一个sql文件里面执行多个sink会报错吗?
参考回答:
begin staxxxx 只包含insert语句
最后别忘了加end
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570203
问题二:mysql cdc 抽取抛出异常 设置了重启策略 5次 ,请问这是什么原因呢?
mysql cdc 抽取抛出异常 设置了重启策略 5次 ,但是任务一直restaring ,请问这是什么原因呢?Caused by: java.lang.IllegalStateException: The connector is trying to read binlog starting at Struct{version=1.9.7.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1699323077067,db=,server_id=0,file=mysql-bin.002696,pos=217069012,row=0}, but this is no longer available on the server. Reconfigure the connector to use a snapshot when needed.
at com.ververica.cdc.connectors.mysql.debezium.task.context.StatefulTaskContext.loadStartingOffsetState(StatefulTaskContext.java:203)
at com.ververica.cdc.connectors.mysql.debezium.task.context.StatefulTaskContext.configure(StatefulTaskContext.java:127)
at com.ververica.cdc.connectors.mysql.debezium.reader.BinlogSplitReader.submitSplit(BinlogSplitReader.java:105)
at com.ververica.cdc.connectors.mysql.debezium.reader.BinlogSplitReader.submitSplit(BinlogSplitReader.java:73)
at com.ververica.cdc.connectors.mysql.source.reader.MySqlSplitReader.pollSplitRecords(MySqlSplitReader.java:109)
at com.ververica.cdc.connectors.mysql.source.reader.MySqlSplitReader.fetch(MySqlSplitReader.java:80)
at org.apache.flink.connector.base.source.reader.fetcher.FetchTask.run(FetchTask.java:58)
at org.apache.flink.connector.base.source.reader.fetcher.SplitFetcher.runOnce(SplitFetcher.java:142)
参考回答:
binglog不存在了,看你自己配置策略,详细的去看flink官网
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570202
问题三:Flink CDC这种方式提交flink 作业,,直接用 java -jar 来执行,报如下错误?
Flink CDC这种方式提交flink 作业,源码可以直接执行,但是打包成jar文件,直接用 java -jar 来执行,报如下错误?
参考回答:
这个错误信息表示 Flink 在解析您的 SQL 语句时遇到了语法错误。具体来说,Flink 在解析行类型(ROW)时无法识别其中的某些字符。
要解决这个问题,您可以尝试以下方法:
- 检查您的 SQL 语句是否正确。确保您使用了正确的语法和表名,并且没有遗漏任何必要的参数或关键字。
- 确保您的 Flink 版本与使用的 CDC 连接器版本兼容。不兼容的版本可能会导致类似的问题。
- 如果您正在使用自定义的数据类型,请确保这些数据类型在 Flink 中是可用的。如果您的数据类型不可用,您可能需要创建一个相应的 Flink 类型或者将数据转换为 Flink 支持的其他类型。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570199
问题四:Flink CDC这个问题遇到过吗?全量同步阶段报这个错误?
Flink CDC这个问题遇到过吗?全量同步阶段报这个错误?
参考回答:
报错:akka.pattern.AskTimeoutException
报错原因
因为JobManager或TaskManager的内存不足导致持续GC,从而导致JM和TM之间的心跳和PRC请求超时。
因为作业规模较大,即RPC请求量较大,但JM资源不足,从而RPC请求积压,因此导致JM和TM之间的心跳和PRC请求超时。
解决方案
如果是持续GC导致的报错,则建议通过作业内存情况和GC日志确认GC的耗时和频率,如果确实存在高频GC或GC耗时的问题,则需要增加JM和TM内存。
如果是作业规模较大导致的报错,则建议增加JM的CPU和内存资源,同时调大akka.ask.timeout和heartbeat.timeout参数取值,参数默认值为50s。
重要
建议只在大规模作业上调整以上两个参数,小规模作业通常不是由于该配置较小导致。
建议按需设置该参数,因为该参数调整过大,会导致在TaskManager异常退出时,作业恢复的时间变长。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570197
问题五:Flink CDC我想用group_concat这个函数报错,为啥报了这个问题呢?
Flink CDC我想用group_concat这个函数报错,但是我看提示这个函数是支持的,语法也没错,为啥报了这个问题呢?
参考回答:
一直是LISTAGG
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570194