问题一:Flink CDC中msqlcdc 读数据,五千万数据,想从id是三千万那 开始读,这可以实现吗?
Flink CDC中msqlcdc 读数据,五千万数据,想从id是三千万那 开始读,这可以实现吗?
参考回答:
目前实现不了,
不过可以where 条件进行过滤,5千万数据还好吧,多开点并行度,直线加速冲刺
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572202
问题二:flinkcdc全量同步完以后,是从最开始的binlog读的还是从那个binlog读的?
flinkcdc全量同步完以后,同步增量的binlog的时候,是从最开始的binlog读的还是从那个binlog读的?看网上介绍说是从读取全量开始的地方读取的感觉有点不太对,问下确定下的?就是读取binlog的时候对应mysql的文件是哪个时候的binlog文件,现在的一个情况是,我重启任务全量同步然后到增量,然后一直会出现序列化问题,我在想这个binlog读取是从最开始的binlog读取的还是咋回事,有点不太清楚来着
参考回答:
看你用了checkpoint没有,用了的话,从你checkpoint里面的offset开始读, 不知道那个binlog文件,你可以指定binlog文件开始读,看看会不会出现你那个问题
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572201
问题三:Flink CDC在哪里配置超时时间呐?
Flink CDC在哪里配置超时时间呐?
参考回答:
Flink CDC 提供了一些配置参数来控制连接超时时间。
- connection.timeout.ms:用于设置与源数据库之间的连接超时时间。
- receive.buffer.bytes:用于设置读取数据缓冲区的大小,以控制 Flink CDC 接收数据的速度。
- send.buffer.bytes:用于设置写入数据缓冲区的大小,以控制 Flink CDC 发送数据的速度。
请确保这些参数设置得足够大,以免超时。
此外,您还可以设置 Flink CDC 的 socket timeout,以控制 Flink CDC 与源数据库之间的连接超时时间。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572200
问题四:Flink CDC看到频繁fullgc,目前增加了heartbeat timeout,有什么建议?
Flink CDC看到频繁fullgc,目前增加了heartbeat timeout,在观察中。有没有大佬有什么建议?
参考回答:
高可用搞起来
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572199
问题五:Flink CDC使用ds代码方式就是只一个线程读取binlog吗??
Flink CDC使用ds代码方式就是只一个线程读取binlog吗??
参考回答:
你需要db.*
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571771