开发者社区 问答 正文

pyflink下同时读查mysql优化求助

各位大佬,我现在通过pyflink实时将kafka的消息获取,一条线直接进入mysql,另一条线通过udf去查该mysql的历史数据进行计算,当数据量达到1百万的时候,性能就下降了。怎么优化呢*来自志愿者整理的flink

展开
收起
毛毛虫雨 2021-12-06 15:37:18 606 分享 版权
1 条回答
写回答
取消 提交回答
  • Hi, 我理解主要是在写入或者查询的网络IO上。对于写入的化,可以批量写入,减少网络IO。 查询的话,如果数据特点比较适合做缓存的话,可以增加 LRU 缓存,异步查询等。*来自志愿者整理的flink

    2021-12-06 16:06:11
    赞同 展开评论