JAVA并行框架:Fork/Join

简介:

一、背景

虽然目前处理器核心数已经发展到很大数目,但是按任务并发处理并不能完全充分的利用处理器资源,因为一般的应用程序没有那么多的并发处理任务。基于这种现状,考虑把一个任务拆分成多个单元,每个单元分别得到执行,最后合并每个单元的结果。

Fork/Join框架是JAVA7提供的一个用于并行执行任务的框架,是一个把大任务分割成若干个小任务,最终汇总每个小任务结果后得到大任务结果的框架。

二、工作窃取算法

指的是某个线程从其他队列里窃取任务来执行。使用的场景是一个大任务拆分成多个小任务,为了减少线程间的竞争,把这些子任务分别放到不同的队列中,并且每个队列都有单独的线程来执行队列里的任务,线程和队列一一对应。但是会出现这样一种情况:A线程处理完了自己队列的任务,B线程的队列里还有很多任务要处理。A是一个很热情的线程,想过去帮忙,但是如果两个线程访问同一个队列,会产生竞争,所以A想了一个办法,从双端队列的尾部拿任务执行。而B线程永远是从双端队列的头部拿任务执行(任务是一个个独立的小任务),这样感觉A线程像是小偷在窃取B线程的东西一样。

工作窃取算法的优点:

         利用了线程进行并行计算,减少了线程间的竞争。

工作窃取算法的缺点:

         1、如果双端队列中只有一个任务时,线程间会存在竞争。

         2、窃取算法消耗了更多的系统资源,如会创建多个线程和多个双端队列。

三、框架设计

 Fork/Join中两个重要的类:

1、ForkJoinTask:使用该框架,需要创建一个ForkJoin任务,它提供在任务中执行fork和join操作的机制。一般情况下,我们并不需要直接继承ForkJoinTask类,只需要继承它的子类,它的子类有两个:

a、RecursiveAction:用于没有返回结果的任务。

b、RecursiveTask:用于有返回结果的任务。

2、ForkJoinPool:任务ForkJoinTask需要通过ForkJoinPool来执行。

 1 package test; 2  3 import java.util.concurrent.ExecutionException; 4 import java.util.concurrent.ForkJoinPool; 5 import java.util.concurrent.Future; 6 import java.util.concurrent.RecursiveTask; 7  8  9 public class CountTask extends RecursiveTask<Integer>10 {11     private static final long serialVersionUID = 1L;12     //阈值13     private static final int THRESHOLD = 2;14     private int start;15     private int end;16     17     public CountTask(int start, int end)18     {19         this.start = start;20         this.end = end;21     }22 23     @Override24     protected Integer compute()25     {26         int sum = 0;27         //判断任务是否足够小28         boolean canCompute = (end - start) <= THRESHOLD;29         if(canCompute)30         {31             //如果小于阈值,就进行运算32             for(int i=start; i<=end; i++)33             {34                 sum += i;35             }36         }37         else38         {39             //如果大于阈值,就再进行任务拆分40             int middle = (start + end)/2;41             CountTask leftTask = new  CountTask(start,middle);42             CountTask rightTask = new  CountTask(middle+1,end);43             //执行子任务44             leftTask.fork();45             rightTask.fork();46             //等待子任务执行完,并得到执行结果47             int leftResult = leftTask.join();48             int rightResult = rightTask.join();49             //合并子任务50             sum = leftResult + rightResult;51             52         }53         return sum;54     }55     56     public static void main(String[] args)57     {58         ForkJoinPool forkJoinPool = new ForkJoinPool();59         CountTask task = new CountTask(1,6);60         //执行一个任务61         Future<Integer> result = forkJoinPool.submit(task);62         try63         {64             System.out.println(result.get());65         }66         catch (InterruptedException e)67         {68             e.printStackTrace();69         }70         catch (ExecutionException e)71         {72             e.printStackTrace();73         }74         75     }76     77 }

这个程序是将1+2+3+4+5+6拆分成1+2;3+4;5+6三个部分进行子程序进行计算后合并。

四、源码解读

1、leftTask.fork();

1 public final ForkJoinTask<V> fork() {2         Thread t;3         if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread)4             ((ForkJoinWorkerThread)t).workQueue.push(this);5         else6             ForkJoinPool.common.externalPush(this);7         return this;8     }

fork方法内部会先判断当前线程是否是ForkJoinWorkerThread的实例,如果满足条件,则将task任务push到当前线程所维护的双端队列中。

 1  final void push(ForkJoinTask<?> task) { 2             ForkJoinTask<?>[] a; ForkJoinPool p; 3             int b = base, s = top, n; 4             if ((a = array) != null) {    // ignore if queue removed 5                 int m = a.length - 1;     // fenced write for task visibility 6                 U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task); 7                 U.putOrderedInt(this, QTOP, s + 1); 8                 if ((n = s - b) <= 1) { 9                     if ((p = pool) != null)10                         p.signalWork(p.workQueues, this);11                 }12                 else if (n >= m)13                     growArray();14             }15         }

在push方法中,会调用ForkJoinPool的signalWork方法唤醒或创建一个工作线程来异步执行该task任务。

2、

 public final V join() {        int s;        if ((s = doJoin() & DONE_MASK) != NORMAL)
            reportException(s);        return getRawResult();
    }

通过doJoin方法返回的任务状态来判断,如果不是NORMAL,则抛异常:

 private void reportException(int s) {        if (s == CANCELLED)            throw new CancellationException();        if (s == EXCEPTIONAL)
            rethrow(getThrowableException());
    }

来看下doJoin方法:

private int doJoin() {        int s; Thread t; ForkJoinWorkerThread wt; ForkJoinPool.WorkQueue w;        return (s = status) < 0 ? s :
            ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) ?
            (w = (wt = (ForkJoinWorkerThread)t).workQueue).
            tryUnpush(this) && (s = doExec()) < 0 ? s :
            wt.pool.awaitJoin(w, this, 0L) :
            externalAwaitDone();
    }

先查看任务状态,如果已经完成,则直接返回任务状态;如果没有完成,则从任务队列中取出任务并执行。














本文转自xsster51CTO博客,原文链接:http://blog.51cto.com/12945177/1948500 ,如需转载请自行联系原作者



相关文章
|
2月前
|
Java 数据库
在Java中使用Seata框架实现分布式事务的详细步骤
通过以上步骤,利用 Seata 框架可以实现较为简单的分布式事务处理。在实际应用中,还需要根据具体业务需求进行更详细的配置和处理。同时,要注意处理各种异常情况,以确保分布式事务的正确执行。
|
2月前
|
消息中间件 Java Kafka
在Java中实现分布式事务的常用框架和方法
总之,选择合适的分布式事务框架和方法需要综合考虑业务需求、性能、复杂度等因素。不同的框架和方法都有其特点和适用场景,需要根据具体情况进行评估和选择。同时,随着技术的不断发展,分布式事务的解决方案也在不断更新和完善,以更好地满足业务的需求。你还可以进一步深入研究和了解这些框架和方法,以便在实际应用中更好地实现分布式事务管理。
|
23天前
|
存储 安全 Java
Java 集合框架中的老炮与新秀:HashTable 和 HashMap 谁更胜一筹?
嗨,大家好,我是技术伙伴小米。今天通过讲故事的方式,详细介绍 Java 中 HashMap 和 HashTable 的区别。从版本、线程安全、null 值支持、性能及迭代器行为等方面对比,帮助你轻松应对面试中的经典问题。HashMap 更高效灵活,适合单线程或需手动处理线程安全的场景;HashTable 较古老,线程安全但性能不佳。现代项目推荐使用 ConcurrentHashMap。关注我的公众号“软件求生”,获取更多技术干货!
39 3
|
7天前
|
并行计算 算法 Java
Java中的Fork/Join框架详解
Fork/Join框架是Java并行计算的强大工具,尤其适用于需要将任务分解为子任务的场景。通过正确使用Fork/Join框架,可以显著提升应用程序的性能和响应速度。在实际应用中,应结合具体需求选择合适的任务拆分策略,以最大化并行计算的效率。
36 23
|
2月前
|
存储 缓存 安全
Java 集合框架优化:从基础到高级应用
《Java集合框架优化:从基础到高级应用》深入解析Java集合框架的核心原理与优化技巧,涵盖列表、集合、映射等常用数据结构,结合实际案例,指导开发者高效使用和优化Java集合。
58 4
|
2月前
|
开发框架 Java 关系型数据库
Java哪个框架适合开发API接口?
在快速发展的软件开发领域,API接口连接了不同的系统和服务。Java作为成熟的编程语言,其生态系统中出现了许多API开发框架。Magic-API因其独特优势和强大功能,成为Java开发者优选的API开发框架。本文将从核心优势、实际应用价值及未来展望等方面,深入探讨Magic-API为何值得选择。
93 2
|
Java
Java多线程初学者指南(5):join方法的使用
本文为原创,如需转载,请注明作者和出处,谢谢!     在上面的例子中多次使用到了Thread类的join方法。我想大家可能已经猜出来join方法的功能是什么了。
789 0
|
17天前
|
监控 Java
java异步判断线程池所有任务是否执行完
通过上述步骤,您可以在Java中实现异步判断线程池所有任务是否执行完毕。这种方法使用了 `CompletionService`来监控任务的完成情况,并通过一个独立线程异步检查所有任务的执行状态。这种设计不仅简洁高效,还能确保在大量任务处理时程序的稳定性和可维护性。希望本文能为您的开发工作提供实用的指导和帮助。
80 17
|
28天前
|
Java
Java—多线程实现生产消费者
本文介绍了多线程实现生产消费者模式的三个版本。Version1包含四个类:`Producer`(生产者)、`Consumer`(消费者)、`Resource`(公共资源)和`TestMain`(测试类)。通过`synchronized`和`wait/notify`机制控制线程同步,但存在多个生产者或消费者时可能出现多次生产和消费的问题。 Version2将`if`改为`while`,解决了多次生产和消费的问题,但仍可能因`notify()`随机唤醒线程而导致死锁。因此,引入了`notifyAll()`来唤醒所有等待线程,但这会带来性能问题。
Java—多线程实现生产消费者