【精通函数式编程】(六) Stream高并发实战

简介: 本讲为Stream高并发(并发、并行、多线程)、ForkJoin线程池框架的实战

前言:

📫 作者简介:小明 java 问道之路,专注于研究计算机底层,就职于金融公司后端高级工程师,擅长交易领域的高安全/可用/并发/性能的设计和架构📫

🏆 Java 领域优质创作者、阿里云专家博主、华为云享专家🏆

🔥 如果此文还不错的话,还请👍关注、点赞、收藏三连支持👍一下博主哦

本文导读

我们上讲看Stream接口提供大量API可以方便的处理元素,这讲Stream高并发(并发、并行、多线程)、ForkJoin线程池框架的实战

一、并行流(parallelStream、parallel、sequential)

并行流就是把一个内容拆分成多个数据块来执行,用不同的线程分别处理每个数据块的流

parallelStream、.parallel()都可以将流转换成并行流,.parallel()的粒度更小。要注意的是顺序流( .stream) 调用parallel方法不意味本身有什么实际变化,它内部设置了一个boolean,表示调用parallel之后的操作都是并行的

对并行流调用后可以使用 .sequential() 变成顺序流。

List<String> collect10 = orderInfos.stream().parallel()
                .map(OrderInfo::getOrderId).collect(toList());
        BigDecimal totalSubOrderAmt1 = orderInfos.stream()
                .map(OrderInfo::getSubOrderInfoList)
                .flatMap(subOrderInfos -> subOrderInfos.stream())
                .filter(subOrderInfo -> null != subOrderInfo.getSubOrderAmt())
                .parallel()
                .map(SubOrderInfo::getSubOrderAmt)
                .sequential()
                .reduce(BigDecimal.ZERO, BigDecimal::add);
        List<String> collect11 = orderInfos.parallelStream()
                .map(OrderInfo::getOrderId).collect(toList());

并行流 不是一定并行,多线程中保证原子操作会有对象的可变状态,当多个线程共享对象时,共享的可变状态会不断被线程锁住,会影响并行流和并行计算

所以我们是否可以使用并行流需要避免共享变量,而且当较小的数据量的时候并行处理的开销不一定会小于计算开销,同时集合的数据结构也会对并行流有影响,ArrayList拆分的开销,要小于LinkedList(前者底层是数组可以直接在内存拆分,后者底层是链表,内存不连续需要遍历拆分,ArrayList、HashSet、TreeSet可拆分性好,LinkedList可拆分性极差)

二、Fork/Jion框架

并行流的背后的原理是java7里面的分支/合并框架,分支/合并框架的目的就是以递归的方式,将数据块(任务)并行的拆分成更小的数据块,然后将每个子任务合并成整体,ExecutorService 接口的实现,ExecutorService把子任务分配给线程池 ForkJionPool 中的工作线程。

要把任务提交到这个ForkJionPool 线程池,必须创建RecursiveTask的实现类,要定义RecursiveTask只需要实现他的抽象方法compute

网络异常,图片无法展示
|

创建一个 ForkJoinTask,并把对象传给我们自定义的ForkJoinCalculator,创建一个 ForkJoinPool 并把任务传递给他的调用方法invoke,返回值就是ForkJoinCalculator定义的结果

扩展RecursiveTask,穿件ForkJoin框架,创建起始位置和终止位置,实现compute方法,实现fork、join金额累加

public static void main(String[] args) {
        List<OrderInfo> orderInfos = Arrays.asList(new OrderInfo("123", BigDecimal.ONE),
                new OrderInfo("456", BigDecimal.TEN), new OrderInfo("789", BigDecimal.TEN));
        // 创建一个 ForkJoinTask,并把对象传给我们自定义的ForkJoinCalculator
        ForkJoinCalculator orderInfoForkJoinTask = new ForkJoinCalculator(orderInfos, 0, orderInfos.size());
        // 创建一个 ForkJoinPool 并把任务传递给他的调用方法,返回值就是ForkJoinCalculator定义的结果
        System.out.println(new ForkJoinPool().invoke(orderInfoForkJoinTask));
    }
    /**
     * 扩展RecursiveTask,穿件ForkJoin框架,创建起始位置和终止位置
     */
    static class ForkJoinCalculator extends RecursiveTask<BigDecimal> {
        List<OrderInfo> orderInfos;
        int start;
        int end;
        BigDecimal amt;
        public ForkJoinCalculator(List<OrderInfo> orderInfos, int start, int end) {
            this.orderInfos = orderInfos;
            this.amt = orderInfos.get(start).getOrderAmt();
            this.start = start;
            this.end = end;
        }
        @Override
        protected BigDecimal compute() {
            int length = end - start;
            // 如果大小等于阈值,返回结果
            if (length < 2)
                return amt; // 订单金额
            ForkJoinCalculator task = new ForkJoinCalculator(orderInfos, start, start + length / 2);
            task.fork();
            ForkJoinCalculator task1 = new ForkJoinCalculator(orderInfos, start + length / 2, end);
            BigDecimal compute = task1.compute();
            BigDecimal join = task.join();
            System.out.println("compute:" + compute + "  join:" + join);
            return compute.add(join); // 累加
        }
    }

Fork/Jion框架还有几个框架需要注意的,对于一个任务调用join方法,会阻塞调用方,直到出任务结果;不应该在RecursiveTask里面实现ForkJoinPool 应该使用compute或fork方法;compute实现需要中断方法并且这里面实现比较困难需要多加练习。

网络异常,图片无法展示
|

工作窃取,在实际工作中任务差不多被平均分配到ForkJoinPool的所有线程,每个线程都为分配给线程的任务保存一个 双向LinkedQueue(双向链式队列),每个人物完成就会从队列的头取一个在进行执行,但是某些线程执行可能过快,此时这个线程会从其他线程的 队列尾,取走一个任务执行,这也是Fork/Jion框架能有高性能的原因

总结

本文讲解Stream高并发(并发、并行、多线程)、ForkJoin线程池框架的实战

相关文章
|
4月前
|
人工智能 JSON 前端开发
【Spring boot实战】Springboot+对话ai模型整体框架+高并发线程机制处理优化+提示词工程效果展示(按照框架自己修改可对接市面上百分之99的模型)
【Spring boot实战】Springboot+对话ai模型整体框架+高并发线程机制处理优化+提示词工程效果展示(按照框架自己修改可对接市面上百分之99的模型)
|
10月前
|
存储 缓存 安全
高并发内存池实战:用C++构建高性能服务器(下)
高并发内存池实战:用C++构建高性能服务器
高并发内存池实战:用C++构建高性能服务器(下)
|
3月前
|
缓存 NoSQL Java
Java高并发实战:利用线程池和Redis实现高效数据入库
Java高并发实战:利用线程池和Redis实现高效数据入库
308 0
|
1月前
|
存储 缓存 运维
优化高并发环境下的数据库查询性能:实战经验与技巧
在高并发环境下,数据库性能往往成为系统瓶颈。本文将深入探讨在高并发场景下优化数据库查询性能的策略与实践,包括索引优化、查询优化、数据库架构设计以及缓存机制的应用。通过对具体案例的分析,读者将能够掌握提升数据库性能的关键技术,从而在面对大规模用户请求时提高系统的响应速度和稳定性。
|
1月前
|
存储 监控 Java
近亿级用户体量高并发实战:大促前压测干崩近百个服务引起的深度反思!
几年前,数百个服务,将堆内存从28GB升配到36GB,引发系统全面OOM的事件。
69 12
|
22天前
|
存储 监控 固态存储
【性能突破】揭秘!如何让您的数据库在高并发风暴中稳如磐石——一场关于WAL写入性能优化的实战之旅,不容错过的技术盛宴!
【8月更文挑战第21天】在高并发环境下,数据库面临极大挑战,特别是采用Write-Ahead Logging (WAL)的日志机制。本文通过一个在线交易系统的案例,分析了WAL写入性能瓶颈,并提出优化方案:理解WAL流程;分析磁盘I/O瓶颈、缓冲区设置与同步策略;通过增大WAL缓冲区、使用SSD及调整同步策略来优化;最后通过测试验证改进效果,总结出一套综合优化方法。
38 0
|
4月前
|
监控 安全 应用服务中间件
|
4月前
|
缓存 NoSQL Java
聚焦实战技能,剖析底层原理:Netty+Redis+ZooKeeper+高并发实战
移动时代、5G时代、物联网时代的大幕已经开启,它们对于高性能、高并发的开发知识和技术的要求,抬升了Java工程师的学习台阶和面试门槛。
|
4月前
|
缓存 NoSQL 中间件
重磅来袭!腾讯T7手写高并发实战手册,称霸GitHub热榜
Netty为何这么火 Netty是互联网中间件领域使用最广泛、最核心的网络通信框架之一。几乎所有互联网中间件或者大数据领域均离不开Netty,掌握Netty是作为一名初中级工程师迈向高级工程师重要的技能之一。 Netty之所以受青睐,是因为Netty提供异步的、事件驱动的网络应用程序框架和工具。作为一个异步框架,Netty的所有IO操作都是异步非阻塞的,通过FutureListener机制,用户可以方便地主动获取或者通过通知机制获得IO操作结果。 为什么写Netty? 目前来说,主要的互联网公司,例如阿里、腾讯、美团、新浪、淘宝等,在高级工程师的面试过程中,就经常会问一些高
|
4月前
|
Java 数据库连接 微服务
Java程序员必学知识:高并发+微服务+数据结构+Mybatis实战实践
BATJ最全架构技术合集:高并发+微服务+数据结构+SpringBoot 关于一线互联网大厂网站的一些特点:用户多,分布广泛、大流量,高并发、海量数据,服务高可用、安全环境恶劣,易受网络攻击、功能多,变更快,频繁发布、从小到大,渐进发展、以用户为中心。 如果你工作中够仔细,你会发现这些特点跟高并发、分布式、微服务、Nginx这些技术密切相关的,是因为只要你的公司在上升,用户量级都会与日俱增,高性能、高并发的问题自然避免不了,话不多说往下看。