有没有 大佬用 springboot 启动flink 处理 ，发现springboot 加 schedule调度处理会内存占满情况？

是的，我遇到过类似的问题。在使用Spring Boot启动Flink处理任务时，如果使用了Spring Boot的@Scheduled注解进行定时任务调度，可能会出现内存占用过高的情况。这是因为Spring Boot的@Scheduled注解会在一个新的线程中执行定时任务，而这个新的线程会持有Flink环境的引用，导致Flink环境无法被垃圾回收。

解决这个问题的方法是在定时任务中使用Flink的executeAsync方法异步执行Flink任务。这样可以确保Flink任务在新的线程中执行，而不影响主线程。同时，由于Flink任务在新的线程中执行，所以Flink环境可以被垃圾回收，从而避免了内存占用过高的问题。

以下是一个示例代码：

@Scheduled(fixedRate = 5000)
public void executeFlinkJob() {
   
    ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
    // 设置Flink任务的参数
    env.setParallelism(1);
    // 定义Flink任务
    DataSet<String> dataSet = env.readTextFile("path/to/your/file");
    dataSet.filter(value -> value.contains("keyword"))
            .writeAsText("path/to/output/file");
    // 异步执行Flink任务
    env.executeAsync("Flink Job Name");
}

        

          
        
        
        

          

          AI 代码解读
        
      
      

在这个示例中，我们使用Spring Boot的@Scheduled注解设置了每5秒执行一次Flink任务。在执行Flink任务时，我们使用了executeAsync方法异步执行Flink任务，这样就可以避免内存占用过高的问题。