问题一:我的 kafka数据到目标表的作业 ,要进行 无状态 启动时。Flink是不是就没办法 全量同步
我如果 先用 CDAS 同步 mysql 数据到 kafka,那kafka 数据是会消费的,这样的话,我的 kafka数据到目标表的作业 ,要进行 无状态 启动时。Flink是不是就没办法 全量同步 了?
参考答案:
kafka消费的数据到目标表之后,无状态启动,目标表数据不会丢失的,kafka到目标表三条,那目标表收到三条。就算无状态启动,那kafka1也会从第四条开始吧,目标表也是从第四条开始存入数据的。目前支持变更表结构的,只有ctas或cdas
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/608125
问题二:阿里的实时计算Flink 我们还 有没有必要中间加个 RocketMq 做为缓冲层?
阿里的实时计算Flink 我们还 有没有必要中间加个 RocketMq 做为缓冲层?
参考答案:
需要,最好是kafka,业务量大,RocketMq不够。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/608124
问题三:Flink的IntervalJoin 存了10分钟的状态 这个该如何优化呢?
Flink的IntervalJoin 存了10分钟的状态 这个该如何优化呢?
参考答案:
开个动态调优吧,如果10分钟的状态时间已经是最小时间了,那只能加内存,减字段。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/608121
问题四:flink任务重启 从最新状态恢复 有2个task 一直在初始化状态很久才能启动 是什么原因?
flink任务重启 从最新状态恢复 有2个task 一直在初始化状态很久才能启动 是什么原因?
参考答案:
最新状态恢复,应该是有部分数据还没消费完才导致的。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/608120
问题五:flink在h区,hologres在i区,如何配置才能让flink连接到hologres啊?
flink在h区,hologres在i区,如何配置才能让flink连接到hologres啊?
参考答案:
只要在一个vvp下就行,不在一个区也可以连接。 https://help.aliyun.com/zh/vpc/user-guide/create-and-manage-vswitch?spm=a2c4g.11174283.0.0.798f5286wSVmyp
关于本问题的更多回答可点击进行查看: