Java Review - 并发编程_DelayQueue原理&源码剖析

简介: Java Review - 并发编程_DelayQueue原理&源码剖析

195d03d17afc4a928bc581f313b01dfe.png

概述


DelayQueue并发队列是一个无界阻塞延迟队列,队列中的每个元素都有个过期时间,当从队列获取元素时,只有过期元素才会出队列。

队列头元素是最快要过期的元素。


类图结构


684b8944414e49519590ca8f1d221682.png

由该图可知


DelayQueue内部使用PriorityQueue存放数据,使用ReentrantLock实现线程同步。


另外,队列里面的元素要实现Delayed接口,由于每个元素都有一个过期时间,所以要实现获知当前元素还剩下多少时间就过期了的接口,由于内部使用优先级队列来实现,所以要实现元素之间相互比较的接口。

44bf7efb667743d2ad5ad25b79ee0360.png

/**
 * A mix-in style interface for marking objects that should be
 * acted upon after a given delay.
 *
 * <p>An implementation of this interface must define a
 * {@code compareTo} method that provides an ordering consistent with
 * its {@code getDelay} method.
 *
 * @since 1.5
 * @author Doug Lea
 */
public interface Delayed extends Comparable<Delayed> {
    /**
     * Returns the remaining delay associated with this object, in the
     * given time unit.
     *
     * @param unit the time unit
     * @return the remaining delay; zero or negative values indicate
     * that the delay has already elapsed
     */
    long getDelay(TimeUnit unit);
}


条件变量available与lock锁是对应的,其目的是为了实现线程间同步


a29b207c1a06483b9f5a2eeceb95b227.png

 private final transient ReentrantLock lock = new ReentrantLock();
  /**
     * Condition signalled when a newer element becomes available
     * at the head of the queue or a new thread may need to
     * become leader.
     */
    private final Condition available = lock.newCondition();


其中leader变量的使用基于Leader-Follower模式的变体,用于尽量减少不必要的线程等待。当一个线程调用队列的take方法变为leader线程后,它会调用条件变量available.awaitNanos(delay)等待delay时间,但是其他线程(follwer线程)则会调用available.await()进行无限等待

leader线程延迟时间过期后,会退出take方法,并通过调用available.signal()方法唤醒一个follwer线程,被唤醒的follwer线程被选举为新的leader线程。


每日一博 - DelayQueue阻塞队列源码解读

    /**
     * Thread designated to wait for the element at the head of
     * the queue.  This variant of the Leader-Follower pattern
     * (http://www.cs.wustl.edu/~schmidt/POSA/POSA2/) serves to
     * minimize unnecessary timed waiting.  When a thread becomes
     * the leader, it waits only for the next delay to elapse, but
     * other threads await indefinitely.  The leader thread must
     * signal some other thread before returning from take() or
     * poll(...), unless some other thread becomes leader in the
     * interim.  Whenever the head of the queue is replaced with
     * an element with an earlier expiration time, the leader
     * field is invalidated by being reset to null, and some
     * waiting thread, but not necessarily the current leader, is
     * signalled.  So waiting threads must be prepared to acquire
     * and lose leadership while waiting.
     */
    private Thread leader = null;

小Demo


import java.util.Random;
import java.util.concurrent.DelayQueue;
import java.util.concurrent.Delayed;
import java.util.concurrent.TimeUnit;
/**
 * @author 小工匠
 * @version 1.0
 * @description: TODO
 * @date 2021/12/19 23:05
 * @mark: show me the code , change the world
 */
public class DelayQueueTest {
    static class DelayedEle implements Delayed {
        private final long delayTime; //延迟时间
        private final long expire;  //到期时间
        private String data;   //数据
        public DelayedEle(long delay, String data) {
            delayTime = delay;
            this.data = data;
            expire = System.currentTimeMillis() + delay;
        }
        /**
         * 剩余时间=到期时间-当前时间
         */
        @Override
        public long getDelay(TimeUnit unit) {
            return unit.convert(this.expire - System.currentTimeMillis(), TimeUnit.MILLISECONDS);
        }
        /**
         * 优先队列里面优先级规则
         */
        @Override
        public int compareTo(Delayed o) {
            return (int) (this.getDelay(TimeUnit.MILLISECONDS) - o.getDelay(TimeUnit.MILLISECONDS));
        }
        @Override
        public String toString() {
            final StringBuilder sb = new StringBuilder("DelayedElement{");
            sb.append("delay=").append(delayTime);
            sb.append(", expire=").append(expire);
            sb.append(", data='").append(data).append('\'');
            sb.append('}');
            return sb.toString();
        }
    }
    public static void main(String[] args) throws InterruptedException {
        // 1 创建延时队列
        DelayQueue<DelayedEle> delayQueue = new DelayQueue<DelayedEle>();
        // 2 创建延时任务
        Random random = new Random();
        for (int i = 0; i < 10; i++) {
            DelayedEle ele = new DelayedEle(random.nextInt(500), "task-" + i);
            delayQueue.offer(ele);
        }
        System.out.println("开始操作,delayQueue队列大小为:" + delayQueue.size());
        // 3 依次取出任务并打印
        DelayedEle delayedEle = null;
        try {
            // 3.1 循环,如果想避免虚假唤醒,则不能把全部元素都打印出来
            for (; ; ) {
                // 3.2 获取过期的任务并打印
                while ((delayedEle = delayQueue.take()) != null) {
                    System.out.println(delayedEle.toString());
                }
            }
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
}


首先创建延迟任务DelayedEle类,其中delayTime表示当前任务需要延迟多少ms时间过期,expire则是当前时间的ms值加上delayTime的值。


另外,实现了Delayed接口,实现了long getDelay(TimeUnit unit)方法用来获取当前元素还剩下多少时间过期,实现了int compareTo(Delayed o)方法用来决定优先级队列元素的比较规则。


在main函数内首先创建了一个延迟队列,然后使用随机数生成器生成了10个延迟任务,最后通过循环依次获取延迟任务,并打印。运行上面代码,一个可能的输出如下所示。


116ebe60795045f7a9bf01a53c4526ce.png


可见,出队的顺序和delay时间有关,而与创建任务的顺序无关。


核心方法&源码解读

offer操作


插入元素到队列,如果插入元素为null则抛出NullPointerException异常,否则由于是无界队列,所以一直返回true。插入元素要实现Delayed接口。

    /**
     * Inserts the specified element into this delay queue.
     *
     * @param e the element to add
     * @return {@code true}
     * @throws NullPointerException if the specified element is null
     */
    public boolean offer(E e) {
        final ReentrantLock lock = this.lock; // 1 
        lock.lock();
        try {
            q.offer(e);
            if (q.peek() == e) {// 2 
                leader = null;
                available.signal();
            }
            return true;
        } finally {
            lock.unlock();
        }
    }


首先获取独占锁,然后添加元素到优先级队列,由于q是优先级队列,所以添加元素后,调用q.peek()方法返回的并不一定是当前添加的元素

如果代码(2)判断结果为true,则说明当前元素e是最先将过期的,那么重置leader线程为null,这时候激活avaliable变量条件队列里面的一个线程,告诉它队列里面有元素了。


take操作


获取并移除队列里面延迟时间过期的元素,如果队列里面没有过期元素则等待。

/**
     * Retrieves and removes the head of this queue, waiting if necessary
     * until an element with an expired delay is available on this queue.
     *
     * @return the head of this queue
     * @throws InterruptedException {@inheritDoc}
     */
    public E take() throws InterruptedException {
        final ReentrantLock lock = this.lock;
        lock.lockInterruptibly();
        try {
            for (;;) {
              // 1 获取但不移除队首元素 
                E first = q.peek();
                if (first == null) 
                    available.await(); // 2 
                else {
                    long delay = first.getDelay(NANOSECONDS);
                    if (delay <= 0) // 3 
                        return q.poll();
                    first = null; // don't retain ref while waiting  
                    if (leader != null) // 4
                        available.await();
                    else {
                        Thread thisThread = Thread.currentThread();
                        leader = thisThread; // 5
                        try {
                            available.awaitNanos(delay); // 6
                        } finally {
                            if (leader == thisThread)
                                leader = null;
                        }
                    }
                }
            }
        } finally {
            if (leader == null && q.peek() != null) // 7  
                available.signal();
            lock.unlock();
        }
    }


首先获取独占锁lock。假设线程A第一次调用队列的take()方法时队列为空,则执行代码(1)后first==null,所以会执行代码(2)把当前线程放入available的条件队列里阻塞等待。


当有另外一个线程B执行offer(item)方法并且添加元素到队列时,假设此时没有其他线程执行入队操作,则线程B添加的元素是队首元素,那么执行q.peek()。


e这时候就会重置leader线程为null,并且激活条件变量的条件队列里面的一个线程。此时线程A就会被激活。


线程A被激活并循环后重新获取队首元素,这时候first就是线程B新增的元素,可知这时候first不为null,则调用first.getDelay(TimeUnit.NANOSECONDS)方法查看该元素还剩余多少时间就要过期,如果delay<=0则说明已经过期,那么直接出队返回。


否则查看leader是否为null,不为null则说明其他线程也在执行take,则把该线程放入条件队列。如果这时候leader为null,则选取当前线程A为leader线程,


然后执行代码(5)等待delay时间(这期间该线程会释放锁,所以其他线程可以offer添加元素,也可以take阻塞自己),剩余过期时间到后,线程A会重新竞争得到锁,然后重置leader线程为null,重新进入循环,这时候就会发现队头的元素已经过期了,则会直接返回队头元素。


在返回前会执行finally块里面的代码(7),代码(7)执行结果为true则说明当前线程从队列移除过期元素后,又有其他线程执行了入队操作,那么这时候调用条件变量的singal方法,激活条件队列里面的等待线程。


poll操作


获取并移除队头过期元素,如果没有过期元素则返回null。

    /**
     * Retrieves and removes the head of this queue, or returns {@code null}
     * if this queue has no elements with an expired delay.
     *
     * @return the head of this queue, or {@code null} if this
     *         queue has no elements with an expired delay
     */
    public E poll() {
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            E first = q.peek();
            // 如果队列为空,或者不为空但是对头元素没有过期,则返回null
            if (first == null || first.getDelay(NANOSECONDS) > 0)
                return null;
            else
                return q.poll();
        } finally {
            lock.unlock();
        }
    }


首先获取独占锁,然后获取队头元素,如果队头元素为null或者还没过期则返回null,否则返回队头元素。


size操作

计算队列元素个数,包含过期的和没有过期的。

 public int size() {
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            return q.size();
        } finally {
            lock.unlock();
        }
    }


先获取独占锁,然后调用优先级队列的size方法。


小结

DelayQueue队列内部使用PriorityQueue存放数据,使用ReentrantLock实现线程同步。


57f8eff709684011b3fb27e47cd85165.png


另外队列里面的元素要实现Delayed接口,其中一个是获取当前元素到过期时间剩余时间的接口,在出队时判断元素是否过期了,一个是元素之间比较的接口,因为这是一个有优先级的队列。

相关文章
|
3月前
|
存储 小程序 Java
热门小程序源码合集:微信抖音小程序源码支持PHP/Java/uni-app完整项目实践指南
小程序已成为企业获客与开发者创业的重要载体。本文详解PHP、Java、uni-app三大技术栈在电商、工具、服务类小程序中的源码应用,提供从开发到部署的全流程指南,并分享选型避坑与商业化落地策略,助力开发者高效构建稳定可扩展项目。
|
6月前
|
存储 安全 Java
Java 集合面试题从数据结构到 HashMap 源码剖析详解及长尾考点梳理
本文深入解析Java集合框架,涵盖基础概念、常见集合类型及HashMap的底层数据结构与源码实现。从Collection、Map到Iterator接口,逐一剖析其特性与应用场景。重点解读HashMap在JDK1.7与1.8中的数据结构演变,包括数组+链表+红黑树优化,以及put方法和扩容机制的实现细节。结合订单管理与用户权限管理等实际案例,展示集合框架的应用价值,助你全面掌握相关知识,轻松应对面试与开发需求。
317 3
|
7月前
|
JavaScript Java 关系型数据库
家政系统源码,java版本
这是一款基于SpringBoot后端框架、MySQL数据库及Uniapp移动端开发的家政预约上门服务系统。
221 6
家政系统源码,java版本
|
7月前
|
供应链 JavaScript 前端开发
Java基于SaaS模式多租户ERP系统源码
ERP,全称 Enterprise Resource Planning 即企业资源计划。是一种集成化的管理软件系统,它通过信息技术手段,将企业的各个业务流程和资源管理进行整合,以提高企业的运营效率和管理水平,它是一种先进的企业管理理念和信息化管理系统。 适用于小微企业的 SaaS模式多租户ERP管理系统, 采用最新的技术栈开发, 让企业简单上云。专注于小微企业的应用需求,如企业基本的进销存、询价,报价, 采购、销售、MRP生产制造、品质管理、仓库库存管理、财务应收付款, OA办公单据、CRM等。
414 23
|
8月前
|
前端开发 Java 关系型数据库
基于Java+Springboot+Vue开发的鲜花商城管理系统源码+运行
基于Java+Springboot+Vue开发的鲜花商城管理系统(前后端分离),这是一项为大学生课程设计作业而开发的项目。该系统旨在帮助大学生学习并掌握Java编程技能,同时锻炼他们的项目设计与开发能力。通过学习基于Java的鲜花商城管理系统项目,大学生可以在实践中学习和提升自己的能力,为以后的职业发展打下坚实基础。技术学习共同进步
518 7
|
8月前
|
Java 关系型数据库 MySQL
Java汽车租赁系统源码(含数据库脚本)
Java汽车租赁系统源码(含数据库脚本)
176 4
|
8月前
|
消息中间件 算法 安全
JUC并发—1.Java集合包底层源码剖析
本文主要对JDK中的集合包源码进行了剖析。
|
存储 安全 Java
java中DelayQueue的使用
java中DelayQueue的使用
|
2月前
|
JSON 网络协议 安全
【Java】(10)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
165 1
|
2月前
|
JSON 网络协议 安全
【Java基础】(1)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
191 1