问题一:Flink CDC里批量缓存这个哪里做调整?
Flink CDC里批量缓存这个哪里做调整?
参考答案:
可以参考图片
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607319
问题二:Flink CDC里读取太慢了如何优化的啊?
Flink CDC里读取太慢了如何优化的啊?
参考答案:
直接手动做checkpoint。换2.3以上。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607317
问题三:Flink CDC里抽取mongodb的数据时,所用的流量直接到158mb/s,有没有参数限制?
Flink CDC里抽取mongodb的数据时,所用的流量直接到158mb/s,请问这种有没有参数限制一下啊?
参考答案:
在 Apache Flink CDC 中抽取 MongoDB 数据时,如果发现抽取流量非常高,达到158MB/s的程度,确实需要对其进行限制以防止网络带宽耗尽或其他资源瓶颈。Flink CDC for MongoDB 提供了一个参数可以用来限制数据抽取速率:
参数名称:flink.cdc.consumer.max-events-per-second 或类似的配置项(具体名称可能会随着Flink版本更新有所变动)
这个参数用于限制MongoDB Source消费者每秒处理的事件数量,从而间接控制流量。通过合理设置这个参数,可以限制从MongoDB抽取数据的速率,避免数据传输过快导致网络拥塞或系统压力过大。
请根据实际的网络状况、目标系统处理能力以及业务需求来调整此参数,确保抽取速率在一个既能充分利用资源又不至于造成压力的平衡点上。同时,也可以考虑结合其他Flink任务级别的并行度调整和背压机制来共同控制数据流速。记得查阅Flink CDC官方文档获取最新的配置指南。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607314
问题四:现在flink 官网发布的flink cdc只有3.0以上版本吗?其他版本去哪了?
现在flink 官网发布的flink cdc只有3.0以上版本吗?其他版本去哪了?
参考答案:
迁移到apache了。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607310
问题五:Flink CDC里全量阶段开了之后,checkpoint的文件过大,现在不知道怎么优化了?
Flink CDC里全量阶段开了之后,checkpoint的文件过大,现在不知道怎么优化了。而且ck过大之后重启,长时间无法恢复正常运行。怎么控制全增量切换?
参考答案:
我用的阿里云flink在停止任务是可以保存savepoint,再次启动可以基于这个。这样应该能做到全量阶段多加点资源加点并发,增量阶段重启少给点资源就好了,全增量切换是自动切换的。
关于本问题的更多回答可点击进行查看: