问题一:linksql读取tidb全量数据的时候,没有读全,源有1000w+数据,只读了100w+,但是程序也没挂, 看日志,有这么一行,感觉是切分主键的时候乱码了, cdc源表是string类型的主键, , 这种表没读全的,一般是什么原因呢,
请问下, flinksql读取tidb全量数据的时候,没有读全,源有1000w+数据,只读了100w+,但是程序也没挂, 看日志,有这么一行,感觉是切分主键的时候乱码了, cdc源表是string类型的主键, , 这种表没读全的,一般是什么原因呢,
参考回答:
这个可以提一个issue,然后提供sql和样本数据以供复现。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/454540?spm=a2c6h.14164896.0.0.6cb9d9dfb0yj4F
问题二:flink数据sum后结果超过源数据
源数据为mysql数据,通过提取mysql数据后写入到kafka,flink接收数据做数据量统计,统计后出现统计量大于原始数据量的情况
CheckpointingMode(CheckpointingMode.EXACTLY_ONCE) 并且在数据统计之前做了去重操作!
请问有人遇到这种问题么?
参考回答:
sum之前先进行groupby去重,flink的上游会多次发生消息会导致重复计算
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/281738?spm=a2c6h.14164896.0.0.6cb9d9dfb0yj4F
问题三:flink流批一体有啥条件,数据源是从mysql批量分片读取,为啥设置成批量模式就不行
flink流批一体有啥条件,数据源是从mysql批量分片读取,为啥设置成批量模式就不行了,检测到不是批模式,要用流模式?
参考回答:
你相关参数设置有问题吧。无界源
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/446367?spm=a2c6h.14164896.0.0.6cb9d9dfb0yj4F
问题四:如何定位Flink无法读取源数据的问题?
如何定位Flink无法读取源数据的问题?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/330853?spm=a2c6h.14164896.0.0.6cb9d9dfb0yj4F
问题五:flink中创建hologres的数据源表table1,参数cdcmode=true binlog=true ,那表table1中的数据是对应hologres中table1所有的数据还是当前binlog中的数据?
flink中创建hologres的数据源表table1,参数cdcmode=true binlog=true ,那表table1中的数据是对应hologres中table1所有的数据还是当前binlog中的数据?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/437867?spm=a2c6h.14164896.0.0.6cb9d9dfb0yj4F