详解java中一个分而治之的框架ForkJoin

简介: 在古代,皇帝要想办成一件事肯定不会自己亲自去动手,而是把任务细分发给下面的大臣,下面的大臣也懒呀,于是把任务继续分成几个部分,继续下发,于是到了最后最终负责的人就完成了一个小功能。上面的领导再把这些结果一层一层汇总,最终返回给皇帝。这就是分而治之的思想,也是我们今天的主题ForkJoin。

一、简介


从JDK1.7开始,Java提供ForkJoin框架用于并行执行任务,它的思想就是讲一个大任务分割成若干小任务,最终汇总每个小任务的结果得到这个大任务的结果。


1、ForkJoinPool


既然任务是被逐渐的细化的,那就需要把这些任务存在一个池子里面,这个池子就是ForkJoinPool,它与其它的ExecutorService区别主要在于它使用“工作窃取“,那什么是工作窃取呢?


一个大任务会被划分成无数个小任务,这些任务被分配到不同的队列,这些队列有些干活干的块,有些干得慢。于是干的快的,一看自己没任务需要执行了,就去隔壁的队列里面拿去任务执行。


2、ForkJoinTask


ForkJoinTask就是ForkJoinPool里面的每一个任务。他主要有两个子类:RecursiveAction和RecursiveTask。然后通过fork()方法去分配任务执行任务,通过join()方法汇总任务结果,

v2-e66a8ca2de8abec491890fba74c19a9f_1440w.jpg

这就是整个过程的运用。他有两个子类,使用这两个子类都可以实现我们的任务分配和计算。


(1)RecursiveAction 一个递归无结果的ForkJoinTask(没有返回值)


(2)RecursiveTask 一个递归有结果的ForkJoinTask(有返回值)


ForkJoinPool由ForkJoinTask数组和ForkJoinWorkerThread数组组成,ForkJoinTask数组负责存放程序提交给ForkJoinPool的任务,而ForkJoinWorkerThread数组负责执行这些任务。


下面我们就来看看如何去使用。


二、使用


1、RecursiveTask :有返回结果


(1)第一步:创建MyRecursiveTask子类在ForkJoinTest中

private static class MyRecursiveTask extends RecursiveTask<Integer>{
        private final int start;
        private final int end;
        public MyRecursiveTask(int start, int end) {
            this.start = start;
            this.end = end;
        }
        @Override
        protected Integer compute() {
            //如果任务小的不能再细分了,那就直接计算
            if(end-start<=threshold) {
                //rangeClosed包含结束节点,是闭合的
                return IntStream.rangeClosed(start,end).sum();
            }else {
                int mid = (start + end ) /2;
                MyRecursiveTask leftTask = new MyRecursiveTask(start, mid);
                MyRecursiveTask rightTask = new MyRecursiveTask(mid+1, end);
                leftTask.fork();
                rightTask.fork();
                return leftTask.join() + rightTask.join() ;
            }   
        }
    }

在这个方法中我们传进去数据,然后使用二分法继续分配给子任务,当任务小的不能再分,那就汇总返回。


(2)第二步在ForkJoinTest中去测试


public class ForkJoinTest {
    private final static int threshold = 3;
    public static void main(String[] args) {
        final ForkJoinPool pool = new ForkJoinPool();
        ForkJoinTask<Integer> result = pool.submit(new MyRecursiveTask(0, 100));
        try {
            System.out.println(result.get());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这个类中我们定义了一个阈值,然后创建一个ForkJoinPool,在这个池子中新建我们刚刚创建的Task任务,最终返回我们结果

2、RecursiveAction:无返回结果


(1)第一步:创建MyRecursiveAction子类在ForkJoinTest中

private static class MyRecursiveAction extends RecursiveAction{
        private final int start;
        private final int end;  
        public MyRecursiveAction(int start, int end) {
            this.start = start;
            this.end = end;
        }
        @Override
        protected void compute() {
            //如果任务小的不能再细分了,那就直接计算
            if(end-start<=threshold) {
                //rangeClosed包含结束节点,是闭合的
                sum.addAndGet(IntStream.rangeClosed(start, end).sum());
            }else {
                int mid = (start + end ) /2;
                MyRecursiveTask leftTask = new MyRecursiveTask(start, mid);
                MyRecursiveTask rightTask = new MyRecursiveTask(mid+1, end);
                leftTask.fork();
                rightTask.fork();
            }
        }
    }

在这个方法中我们不需要有return语句。过程和之前的RecursiveTask类似。


(2)第二步在ForkJoinTest中去测试


public class ForkJoinTest {
    private final static int threshold = 3;
    private final static AtomicInteger sum = new AtomicInteger(0);
    public static void main(String[] args) throws InterruptedException {
        final ForkJoinPool pool = new ForkJoinPool();
        //注意在这里不需要有返回值了
        pool.submit(new MyRecursiveAction(0, 100));
        pool.awaitTermination(100, TimeUnit.MILLISECONDS);
        //我们依然还可以输出最终的返回值
        System.out.println(sum);
    }
}

现在不管我们输出多少次都可以有返回结果了。


ForkJoinTask在执行的时候可能会抛出异常,在主线程中是无法直接获取的,但是可以通过ForkJoinTask提供的isCompletedAbnormally()方法来检查任务是否已经抛出异常或已经被取消了。

相关文章
|
5月前
|
安全 前端开发 Java
《深入理解Spring》:现代Java开发的核心框架
Spring自2003年诞生以来,已成为Java企业级开发的基石,凭借IoC、AOP、声明式编程等核心特性,极大简化了开发复杂度。本系列将深入解析Spring框架核心原理及Spring Boot、Cloud、Security等生态组件,助力开发者构建高效、可扩展的应用体系。(238字)
|
6月前
|
人工智能 Java 开发者
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
JManus是阿里开源的Java版OpenManus,基于Spring AI Alibaba框架,助力Java开发者便捷应用AI技术。支持多Agent框架、网页配置、MCP协议及PLAN-ACT模式,可集成多模型,适配阿里云百炼平台与本地ollama。提供Docker与源码部署方式,具备无限上下文处理能力,适用于复杂AI场景。当前仍在完善模型配置等功能,欢迎参与开源共建。
2483 58
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
|
9月前
|
自然语言处理 前端开发 Java
JBoltAI 框架完整实操案例 在 Java 生态中快速构建大模型应用全流程实战指南
本案例基于JBoltAI框架,展示如何快速构建Java生态中的大模型应用——智能客服系统。系统面向电商平台,具备自动回答常见问题、意图识别、多轮对话理解及复杂问题转接人工等功能。采用Spring Boot+JBoltAI架构,集成向量数据库与大模型(如文心一言或通义千问)。内容涵盖需求分析、环境搭建、代码实现(知识库管理、核心服务、REST API)、前端界面开发及部署测试全流程,助你高效掌握大模型应用开发。
846 5
|
5月前
|
消息中间件 缓存 Java
Spring框架优化:提高Java应用的性能与适应性
以上方法均旨在综合考虑Java Spring 应该程序设计原则, 数据库交互, 编码实践和系统架构布局等多角度因素, 旨在达到高效稳定运转目标同时也易于未来扩展.
356 8
|
5月前
|
存储 安全 Java
《数据之美》:Java集合框架全景解析
Java集合框架是数据管理的核心工具,涵盖List、Set、Map等体系,提供丰富接口与实现类,支持高效的数据操作与算法处理。
|
5月前
|
存储 算法 安全
Java集合框架:理解类型多样性与限制
总之,在 Java 题材中正确地应对多样化与约束条件要求开发人员深入理解面向对象原则、范式编程思想以及JVM工作机理等核心知识点。通过精心设计与周密规划能够有效地利用 Java 高级特征打造出既健壮又灵活易维护系统软件产品。
158 7
|
7月前
|
存储 缓存 安全
Java集合框架(二):Set接口与哈希表原理
本文深入解析Java中Set集合的工作原理及其实现机制,涵盖HashSet、LinkedHashSet和TreeSet三大实现类。从Set接口的特性出发,对比List理解去重机制,并详解哈希表原理、hashCode与equals方法的作用。进一步剖析HashSet的底层HashMap实现、LinkedHashSet的双向链表维护顺序特性,以及TreeSet基于红黑树的排序功能。文章还包含性能对比、自定义对象去重、集合运算实战和线程安全方案,帮助读者全面掌握Set的应用与选择策略。
558 23
|
6月前
|
SQL Java 数据库连接
区分iBatis与MyBatis:两个Java数据库框架的比较
总结起来:虽然从技术角度看,iBATIS已经停止更新但仍然可用;然而考虑到长期项目健康度及未来可能需求变化情况下MYBATISS无疑会是一个更佳选择因其具备良好生命周期管理机制同时也因为社区力量背书确保问题修复新特征添加速度快捷有效.
435 12