分享Fork/Join经典案例

简介: `shigen`是位专注于Java、Python、Vue和Shell的博主,分享技术成长和认知。上篇文章探讨了Java的Fork/Join框架,它类似线程池,通过拆分大任务并并行执行提升效率。以大序列求和为例展示了ForkJoinPool的使用,与普通线程池对比,Fork/Join效率提升约50%。适合递归任务、独立子任务和长执行时间的任务。注意任务粒度、避免共享状态和死锁。推荐观看相关视频深入理解。一起学习,每天进步!

shigen坚持更新文章的博客写手,擅长Java、python、vue、shell等编程语言和各种应用程序、脚本的开发。记录成长,分享认知,留住感动。
个人IP:shigen

在上一篇的文章java 多线程+分治求和,太牛了的文章中,提到了forkjoin,在一番了解之后,发现这个forkjoin基本上和线程池差不多

Fork/Join框架的核心思想是将大任务拆分成若干个小任务(Fork),然后并行执行这些小任务,最后将它们的结果合并(Join)。这样可以充分利用多核处理器的性能,提高任务的执行效率。

在一些论坛上网友也回复:大数据的认识这个。也是啊,没准吊打我的面试官就是搞大数据的呢。正常的Java开发,哪来的这么多需要运算的任务,大部分都是IO型的任务,参考文章Excel导入导出百万级数据优化

写了一点代码测试了一下效果,选用的还是经典的大序列求和案例:

public class SumCalculator extends RecursiveTask<Long> {
   
   

    private static final long serialVersionUID = 1L;
    // 阈值,超过这个值则拆分任务
    private static final long THRESHOLD = 10000;
    private final long start;
    private final long end;

    public SumCalculator(long start, long end) {
   
   
        this.start = start;
        this.end = end;
    }

    @Override
    protected Long compute() {
   
   
        long length = end - start;
        if (length <= THRESHOLD) {
   
   
            return computeSequentially();
        }
        long middle = (start + end) >>> 1;
        SumCalculator leftTask = new SumCalculator(start, middle);
        SumCalculator rightTask = new SumCalculator(middle + 1, end);
        // 拆分左边任务
        leftTask.fork();
        // 拆分右边任务
        rightTask.fork();
        // 合并并返回结果
        return leftTask.join() + rightTask.join();
    }

    private long computeSequentially() {
   
   
        long sum = 0;
        for (long i = start; i <= end; i++) {
   
   
            sum += i;
        }
        return sum;
    }

    public static void main(String[] args) {
   
   
        long start = 1;
        long end = 1_0000_0000;
        StopWatch stopWatch = new StopWatch();
        stopWatch.start();
        ForkJoinPool forkJoinPool = new ForkJoinPool();
        long result = forkJoinPool.invoke(new SumCalculator(start, end));
        stopWatch.stop();
        System.out.println("Sum of " + start + " to " + end + " = " + result);
        System.out.println("Elapsed time: " + stopWatch.getTotalTimeMillis() + " ms");
    }
}

运行时间我们来对比一下:

forkjoin运行时间

普通线程池:

普通线程池

多次运行后发现:时间在100ms-300ms之间波动。

总的来说,fork/join的效率至少要比普通线程池提交任务运行耗时减少50%左右。

最后,借助魔法和个人理解,来一波总结:

Fork/Join适用场景:

  1. 递归任务:Fork/Join框架特别适用于递归式的任务,例如归并排序、快速排序、求和等。
  2. 任务可以被拆分成独立子任务:任务之间不存在依赖关系,可以独立执行,这样才能充分发挥并行执行的优势。
  3. 任务执行时间较长:如果任务执行时间过短,切分和合并的开销可能会超过执行时间,得不偿失。

注意事项:

  1. 合适的任务粒度:需要根据具体情况确定合适的任务拆分粒度,避免任务过小导致拆分和合并的开销过大。
  2. 避免共享可变状态:并行执行的任务之间应避免共享可变状态,如果必须共享状态,需要采用线程安全的方式进行处理。
  3. 避免死锁和性能问题:在使用Fork/Join框架时,要注意避免死锁和性能问题,合理设计任务拆分和合并的逻辑。
  4. 使用合适的线程池:Fork/Join框架底层使用了工作窃取(Work Stealing)算法,因此可以使用默认的ForkJoinPool,也可以根据需要创建自定义的线程池。

总的来说,Fork/Join框架适用于需要并行执行递归式任务且任务之间不存在太多依赖关系的情况,能够充分利用多核处理器的性能,提高任务的执行效率。

好了,底层原理还是比较复杂,推荐观看视频:6.8 并发编程之ForkJoin工作原理分析。搞不明白,在这里就不深入分析底层原理了。

*与shigen一起,每天不一样!

目录
相关文章
|
开发者
MacM1安装MAT全流程安装指南
MAT作为开发者分析堆栈快照信息的常用工具,本文介绍了在MBP M1中安装指南。
3049 1
MacM1安装MAT全流程安装指南
|
负载均衡 算法 前端开发
使用 Haproxy + Nginx 实现高可用
Haproxy 是目前比较流行的一种集群调度工具,同类集群调度器工具有很多,如 LVS 和 Nginx。相比较而言,LVS 性能最好,但是搭建相对复杂;Nginx 的 upstream 模块虽然支持集群功能,但是对集群节点健康检查功能不强,性能没有 Haproxy 好。
1107 0
使用 Haproxy + Nginx 实现高可用
|
并行计算 算法 Java
ForkJoin并行计算神器(史上最全图文详解)
本文详细介绍ForkJoin框架的设计原理、工作窃取算法及使用案例,帮助你更好地利用多处理器并行运算能力提升应用性能。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
ForkJoin并行计算神器(史上最全图文详解)
|
9月前
|
关系型数据库 MySQL 数据库
图解MySQL【日志】——两阶段提交
两阶段提交是为了解决Redo Log和Binlog日志在事务提交时可能出现的半成功状态,确保两者的一致性。它分为准备阶段和提交阶段,通过协调者和参与者协作完成。准备阶段中,协调者向所有参与者发送准备请求,参与者执行事务并回复是否同意提交;提交阶段中,若所有参与者同意,则协调者发送提交请求,否则发送回滚请求。MySQL通过这种方式保证了分布式事务的一致性,并引入组提交机制减少磁盘I/O次数,提升性能。
690 4
图解MySQL【日志】——两阶段提交
|
NoSQL 关系型数据库 MySQL
MySQL与Redis协同作战:百万数据量的优化实录
【10月更文挑战第6天】 在现代互联网应用中,随着用户量的增加和业务逻辑的复杂化,数据量级迅速增长,这对后端数据库系统提出了严峻的挑战。尤其是当数据量达到百万级别时,传统的数据库解决方案往往会遇到性能瓶颈。本文将分享一次使用MySQL与Redis协同优化大规模数据统计的实战经验。
571 3
|
SQL 关系型数据库 MySQL
|
机器学习/深度学习 人工智能 数据可视化
大数据时代的数据可视化技术:趋势、挑战与未来展望
【7月更文挑战第22天】随着技术的不断进步和应用场景的不断拓展,数据可视化技术将在更多领域发挥更大的作用。未来,我们可以期待更加智能化、实时化、沉浸式和民主化的数据可视化解决方案的出现。同时,随着数据量的不断增加和数据类型的不断丰富,数据可视化技术也将面临更多的挑战和机遇。只有不断创新和优化技术才能满足日益增长的需求并推动数据可视化技术的持续发展。
1737 3
|
JavaScript 数据可视化 定位技术
vue项目中mapboxgl的几个经典操作代码示例
vue项目中mapboxgl的几个经典操作代码示例
524 0
|
机器学习/深度学习 人工智能 自然语言处理
智能笔下的学术:AI在学术写作中的革新应用
【7月更文第31天】随着人工智能技术的发展,AI工具已经成为学术界不可或缺的一部分。它们不仅能够帮助研究人员提高工作效率,还能提升论文的质量。本文将介绍一些流行的AI学术写作工具,并探讨它们如何重塑学术研究的过程。
1448 0
|
Java 中间件 API
【分布式技术专题】「Zookeeper中间件」给大家学习一下Zookeeper的”开发伴侣”—Curator-Framework(基础篇)
【分布式技术专题】「Zookeeper中间件」给大家学习一下Zookeeper的”开发伴侣”—Curator-Framework(基础篇)
722 92
【分布式技术专题】「Zookeeper中间件」给大家学习一下Zookeeper的”开发伴侣”—Curator-Framework(基础篇)