问题一:有多张mysql表要实时同步到es , 适合用flink吗 ?
有多张mysql表要实时同步到es , 适合用flink吗 ? mysql中有些数据需要加工 , 字段不是一一对应的
参考答案:
非常适合
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/614511
问题二:咨询一个Flink问题, 非开窗,非聚合的数据倾斜有什么优化思路?
咨询一个Flink问题, 非开窗,非聚合的数据倾斜有什么优化思路?在保证相同key的数据在一个task 里面处理的前提下,上游kafka的数据是用户每个时间点的属性变化信息, 需要写入到下游数据库,比如这条数据需要给用户的属性做要求和动作,下一条相同用户可能需要做局部更新动作,在或者相同用户做保留首次属性动作
我目前的算子结构是: map.filter.keyby.process.sink ==> key 是用户的ID
参考答案:
1、可以对数据进行预处理,减少下游的数据量
2、是因为key分组导致数据倾斜,所以可以尝试结合其他字段创建复合键。还有一个方法,增加并行度,可以分散负载,就可以减轻压力。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/614510
问题三:Flink停止作业选择这个输出窗口数据后,下次从快照状态恢复,的话窗口内还会有数据吗?
Flink停止作业选择这个输出窗口数据后,下次从快照状态恢复,的话窗口内还会有数据吗?如果没有,那么他的水位线会被推到多久,会影响新数据的流入吗?
参考答案:
没有数据,当作业恢复时,水位线会从停止前的状态开始推进,水位线的推进不会直接影响新数据的流入
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/614505
问题四:在Flink如果要加水位线,应该怎么加?
我用阿里的实时计算开发flinksql任务,datahub的数据关联holo数据,holo数据入库有延迟,导致关联结果有问题,在Flink如果要加水位线,应该怎么加?
参考答案:
您好,可以看看这篇文档
https://help.aliyun.com/zh/flink/developer-reference/tumble?spm=a2c4g.11186623.0.0.65fa14a5BR5vSZ
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/614503
问题五:Flink对list接口排序进行优化,请问现在发布了吗?
Flink对list接口排序进行优化,请问现在发布了吗?
参考答案:
还没 发布延期 4月中下
关于本问题的更多回答可点击进行查看: