JAVA并行框架:Fork/Join

简介:

一、背景

虽然目前处理器核心数已经发展到很大数目,但是按任务并发处理并不能完全充分的利用处理器资源,因为一般的应用程序没有那么多的并发处理任务。基于这种现状,考虑把一个任务拆分成多个单元,每个单元分别得到执行,最后合并每个单元的结果。

Fork/Join框架是JAVA7提供的一个用于并行执行任务的框架,是一个把大任务分割成若干个小任务,最终汇总每个小任务结果后得到大任务结果的框架。

二、工作窃取算法

指的是某个线程从其他队列里窃取任务来执行。使用的场景是一个大任务拆分成多个小任务,为了减少线程间的竞争,把这些子任务分别放到不同的队列中,并且每个队列都有单独的线程来执行队列里的任务,线程和队列一一对应。但是会出现这样一种情况:A线程处理完了自己队列的任务,B线程的队列里还有很多任务要处理。A是一个很热情的线程,想过去帮忙,但是如果两个线程访问同一个队列,会产生竞争,所以A想了一个办法,从双端队列的尾部拿任务执行。而B线程永远是从双端队列的头部拿任务执行(任务是一个个独立的小任务),这样感觉A线程像是小偷在窃取B线程的东西一样。

工作窃取算法的优点:

         利用了线程进行并行计算,减少了线程间的竞争。

工作窃取算法的缺点:

         1、如果双端队列中只有一个任务时,线程间会存在竞争。

         2、窃取算法消耗了更多的系统资源,如会创建多个线程和多个双端队列。

三、框架设计

 Fork/Join中两个重要的类:

1、ForkJoinTask:使用该框架,需要创建一个ForkJoin任务,它提供在任务中执行fork和join操作的机制。一般情况下,我们并不需要直接继承ForkJoinTask类,只需要继承它的子类,它的子类有两个:

a、RecursiveAction:用于没有返回结果的任务。

b、RecursiveTask:用于有返回结果的任务。

2、ForkJoinPool:任务ForkJoinTask需要通过ForkJoinPool来执行。

 1 package test; 2  3 import java.util.concurrent.ExecutionException; 4 import java.util.concurrent.ForkJoinPool; 5 import java.util.concurrent.Future; 6 import java.util.concurrent.RecursiveTask; 7  8  9 public class CountTask extends RecursiveTask<Integer>10 {11     private static final long serialVersionUID = 1L;12     //阈值13     private static final int THRESHOLD = 2;14     private int start;15     private int end;16     17     public CountTask(int start, int end)18     {19         this.start = start;20         this.end = end;21     }22 23     @Override24     protected Integer compute()25     {26         int sum = 0;27         //判断任务是否足够小28         boolean canCompute = (end - start) <= THRESHOLD;29         if(canCompute)30         {31             //如果小于阈值,就进行运算32             for(int i=start; i<=end; i++)33             {34                 sum += i;35             }36         }37         else38         {39             //如果大于阈值,就再进行任务拆分40             int middle = (start + end)/2;41             CountTask leftTask = new  CountTask(start,middle);42             CountTask rightTask = new  CountTask(middle+1,end);43             //执行子任务44             leftTask.fork();45             rightTask.fork();46             //等待子任务执行完,并得到执行结果47             int leftResult = leftTask.join();48             int rightResult = rightTask.join();49             //合并子任务50             sum = leftResult + rightResult;51             52         }53         return sum;54     }55     56     public static void main(String[] args)57     {58         ForkJoinPool forkJoinPool = new ForkJoinPool();59         CountTask task = new CountTask(1,6);60         //执行一个任务61         Future<Integer> result = forkJoinPool.submit(task);62         try63         {64             System.out.println(result.get());65         }66         catch (InterruptedException e)67         {68             e.printStackTrace();69         }70         catch (ExecutionException e)71         {72             e.printStackTrace();73         }74         75     }76     77 }

这个程序是将1+2+3+4+5+6拆分成1+2;3+4;5+6三个部分进行子程序进行计算后合并。

四、源码解读

1、leftTask.fork();

1 public final ForkJoinTask<V> fork() {2         Thread t;3         if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread)4             ((ForkJoinWorkerThread)t).workQueue.push(this);5         else6             ForkJoinPool.common.externalPush(this);7         return this;8     }

fork方法内部会先判断当前线程是否是ForkJoinWorkerThread的实例,如果满足条件,则将task任务push到当前线程所维护的双端队列中。

 1  final void push(ForkJoinTask<?> task) { 2             ForkJoinTask<?>[] a; ForkJoinPool p; 3             int b = base, s = top, n; 4             if ((a = array) != null) {    // ignore if queue removed 5                 int m = a.length - 1;     // fenced write for task visibility 6                 U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task); 7                 U.putOrderedInt(this, QTOP, s + 1); 8                 if ((n = s - b) <= 1) { 9                     if ((p = pool) != null)10                         p.signalWork(p.workQueues, this);11                 }12                 else if (n >= m)13                     growArray();14             }15         }

在push方法中,会调用ForkJoinPool的signalWork方法唤醒或创建一个工作线程来异步执行该task任务。

2、

 public final V join() {        int s;        if ((s = doJoin() & DONE_MASK) != NORMAL)
            reportException(s);        return getRawResult();
    }

通过doJoin方法返回的任务状态来判断,如果不是NORMAL,则抛异常:

 private void reportException(int s) {        if (s == CANCELLED)            throw new CancellationException();        if (s == EXCEPTIONAL)
            rethrow(getThrowableException());
    }

来看下doJoin方法:

 

    }


本文转自 zddnd 51CTO博客,原文链接:http://blog.51cto.com/13013666/1949233

相关文章
|
7月前
|
人工智能 Java 开发者
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
JManus是阿里开源的Java版OpenManus,基于Spring AI Alibaba框架,助力Java开发者便捷应用AI技术。支持多Agent框架、网页配置、MCP协议及PLAN-ACT模式,可集成多模型,适配阿里云百炼平台与本地ollama。提供Docker与源码部署方式,具备无限上下文处理能力,适用于复杂AI场景。当前仍在完善模型配置等功能,欢迎参与开源共建。
2832 58
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
|
6月前
|
安全 前端开发 Java
《深入理解Spring》:现代Java开发的核心框架
Spring自2003年诞生以来,已成为Java企业级开发的基石,凭借IoC、AOP、声明式编程等核心特性,极大简化了开发复杂度。本系列将深入解析Spring框架核心原理及Spring Boot、Cloud、Security等生态组件,助力开发者构建高效、可扩展的应用体系。(238字)
|
10月前
|
自然语言处理 前端开发 Java
JBoltAI 框架完整实操案例 在 Java 生态中快速构建大模型应用全流程实战指南
本案例基于JBoltAI框架,展示如何快速构建Java生态中的大模型应用——智能客服系统。系统面向电商平台,具备自动回答常见问题、意图识别、多轮对话理解及复杂问题转接人工等功能。采用Spring Boot+JBoltAI架构,集成向量数据库与大模型(如文心一言或通义千问)。内容涵盖需求分析、环境搭建、代码实现(知识库管理、核心服务、REST API)、前端界面开发及部署测试全流程,助你高效掌握大模型应用开发。
931 5
|
6月前
|
消息中间件 缓存 Java
Spring框架优化:提高Java应用的性能与适应性
以上方法均旨在综合考虑Java Spring 应该程序设计原则, 数据库交互, 编码实践和系统架构布局等多角度因素, 旨在达到高效稳定运转目标同时也易于未来扩展.
474 8
|
6月前
|
存储 安全 Java
《数据之美》:Java集合框架全景解析
Java集合框架是数据管理的核心工具,涵盖List、Set、Map等体系,提供丰富接口与实现类,支持高效的数据操作与算法处理。
|
6月前
|
存储 算法 安全
Java集合框架:理解类型多样性与限制
总之,在 Java 题材中正确地应对多样化与约束条件要求开发人员深入理解面向对象原则、范式编程思想以及JVM工作机理等核心知识点。通过精心设计与周密规划能够有效地利用 Java 高级特征打造出既健壮又灵活易维护系统软件产品。
171 7
|
8月前
|
存储 缓存 安全
Java集合框架(二):Set接口与哈希表原理
本文深入解析Java中Set集合的工作原理及其实现机制,涵盖HashSet、LinkedHashSet和TreeSet三大实现类。从Set接口的特性出发,对比List理解去重机制,并详解哈希表原理、hashCode与equals方法的作用。进一步剖析HashSet的底层HashMap实现、LinkedHashSet的双向链表维护顺序特性,以及TreeSet基于红黑树的排序功能。文章还包含性能对比、自定义对象去重、集合运算实战和线程安全方案,帮助读者全面掌握Set的应用与选择策略。
842 23
|
7月前
|
SQL Java 数据库连接
区分iBatis与MyBatis:两个Java数据库框架的比较
总结起来:虽然从技术角度看,iBATIS已经停止更新但仍然可用;然而考虑到长期项目健康度及未来可能需求变化情况下MYBATISS无疑会是一个更佳选择因其具备良好生命周期管理机制同时也因为社区力量背书确保问题修复新特征添加速度快捷有效.
592 12
下一篇
开通oss服务