Java并发编程的艺术 -- Java并发容器和框架（第六章）

本文参考于《Java并发编程的艺术》

1、ConcurrentHashMap的实现原理与使用

1.1、什么是ConcurrentHashMap？

ConcurrentHashMap是线程安全且高效的HashMap。

1.2、为什么要使用ConcurrentHashMap？

1. 线程不安全的HashMap：在多线程环境下，使用HashMap进行put操作会引起死循环，导致CPU利用率接近100%，所以在并发情况下不能使用HashMap。HashMap在并发执行put操作时会引起死循环，是因为多线程会导致HashMap的Entry链表形成环形数据结构，一旦形成环形数据结构，Entry的next节点永远不为空，就会产生死循环获取Entry。
2. 效率低下的HashTable：HashTable容器使用synchronized来保证线程安全，但在线程竞争激烈的情况下HashTable的效率非常低下。因为当一个线程访问HashTable的同步方法，其他线程也访问HashTable的同步方法时，会进入阻塞或轮询状态。
3. ConcurrentHashMap的锁分段技术可有效提升并发访问率：假如容器里有多把锁，每一把锁用于锁容器其中一部分数据，那么当多线程访问容器里不同数据段的数据时，线程间就不会存在锁竞争，从而可以有效提高并发访问效率，这就是ConcurrentHashMap所使用的锁分段技术。首先将数据分成一段一段地存储，然后给每一段数据配一把锁，当一个线程占用锁访问其中一个段数据的时候，其他段的数据也能被其他线程访问。

1.3、ConcurrentHashMap的结构

ConcurrentHashMap是由Segment数组结构和HashEntry数组结构组成。 Segment是一种可重入锁，在ConcurrentHashMap里扮演锁的角色；HashEntry则用于存储键值对数据。一个ConcurrentHashMap里包含一个Segment数组。Segment的结构和HashMap类似，是一种数组和链表结构。一个Segment里包含一个HashEntry数组，每个HashEntry是一个链表结构的元素，每个Segment守护着一个HashEntry数组里的元素，当对HashEntry数组的数据进行修改时，必须首先获得与它对应的Segment锁。

图示说明

1.4、ConcurrentHashMap的初始化

ConcurrentHashMap初始化方法是通过initialCapacity、loadFactor和concurrencyLevel等几个参数来初始化segment数组、段偏移量segmentShift、段掩码segmentMask和每个segment里的HashEntry数组来实现的。

1.4.1、初始化segments数组

源码

    if (concurrencyLevel > MAX_SEGMENTS)
    concurrencyLevel = MAX_SEGMENTS;
    
    int sshift = 0;
    int ssize = 1;
    while (ssize < concurrencyLevel) {
        ++sshift;
        ssize <<= 1;
    }
    segmentShift = 32 - sshift;
    segmentMask = ssize - 1;
    this.segments = Segment.newArray(ssize);

• segments数组的长度ssize是通过concurrencyLevel计算得出的。
• 为了能通过按位与的散列算法来定位segments数组的索引，必须保证segments数组的长度是2的N次方，所以必须计算出一个大于或等于concurrencyLevel的最小的2的N次方值来作为segments数组的长度。假如concurrencyLevel等于14、15或16，ssize都会等于16，即容器里锁的个数也是16。
• concurrencyLevel的最大值是65535，这意味着segments数组的长度最大为65536，对应的二进制是16位。

1.4.2、初始化segmentShift和segmentMask

1. segmentShift用于定位参与散列运算的位数，segmentShift等于32减sshift，这里之所以用32是因为ConcurrentHashMap里的hash()方法输出的最大数是32位的。
2. segmentMask是散列运算的掩码，等于ssize减1，掩码的二进制各个位的值都是1。因为ssize的最大长度是65536，所以segmentShift最大值是16，segmentMask最大值是65535，对应的二进制是16位，每个位都是1。

1.4.3、初始化每个segment

输入参数initialCapacity是ConcurrentHashMap的初始化容量，loadfactor是每个segment的负载因子，在构造方法里需要通过这两个参数来初始化数组中的每个segment。

源码

    if (initialCapacity > MAXIMUM_CAPACITY)
    initialCapacity = MAXIMUM_CAPACITY;
    
    int c = initialCapacity / ssize;
    if (c * ssize < initialCapacity)
    ++c;
    
    int cap = 1;
    
    while (cap < c)
    cap <<= 1;
    
    for (int i = 0; i < this.segments.length; ++i)
    this.segments[i] = new Segment<K,V>(cap, loadFactor);

• cap就是segment里HashEntry数组的长度，它等于initialCapacity除以ssize的倍数c，如果c大于1，就会取大于等于c的2的N次方值，所以cap不是1，就是2的N次方。
• 默认情况下initialCapacity等于16，loadfactor等于0.75，通过运算cap等于1，threshold等于零。

1.5、定位Segment

既然ConcurrentHashMap使用分段锁Segment来保护不同段的数据，那么在插入和获取元素的时候，必须先通过散列算法定位到Segment。

1.hash()源码

private static int hash(int h) {
    h += (h << 15) ^ 0xffffcd7d;
    h ^= (h >>> 10);
    h += (h << 3);
    h ^= (h >>> 6);
    h += (h << 2) + (h << 14);
    return h ^ (h >>> 16);
}

2.进行再散列目的

之所以进行再散列，目的是减少散列冲突，使元素能够均匀地分布在不同的Segment上，从而提高容器的存取效率。假如散列的质量差到极点，那么所有的元素都在一个Segment中，不仅存取元素缓慢，分段锁也会失去意义。如果不进行再散列，散列冲突会非常严重，因为只要低位一样，无论高位是什么数，其散列值总是一样。通过这种再散列能让数字的每一位都参加到散列运算当中，从而减少散列冲突。

1.6、ConcurrentHashMap的操作

1.6.1、get操作

public V get(Object key) {
    Segment<K,V> s; // manually integrate access methods to reduce overhead
    HashEntry<K,V>[] tab;
    int h = hash(key);
    long u = (((h >>> segmentShift) & segmentMask) << SSHIFT) + SBASE;
    // 计算得到 key 的存放位置
    if ((s = (Segment<K,V>)UNSAFE.getObjectVolatile(segments, u)) != null &&
        (tab = s.table) != null) {
        for (HashEntry<K,V> e = (HashEntry<K,V>) UNSAFE.getObjectVolatile
                 (tab, ((long)(((tab.length - 1) & h)) << TSHIFT) + TBASE);
             e != null; e = e.next) {
            // 如果是链表，遍历查找到相同 key 的 value。
            K k;
            if ((k = e.key) == key || (e.hash == h && key.equals(k)))
                return e.value;
        }
    }
    return null;
}

• 计算得到 key 的存放位置。
• 遍历指定位置查找相同 key 的 value 值。

1.6.2、get操作高效的原因

• get操作的高效之处在于整个get过程不需要加锁，除非读到的值是空才会加锁重读。
• 它的get方法里将要使用的共享变量都定义成volatile类型，如用于统计当前Segement大小的count字段和用于存储值的HashEntry的value。定义成volatile的变量，能够在线程之间保持可见性，能够被多线程同时读，并且保证不会读到过期的值。在get操作里只需要读不需要写共享变量count和value，所以可以不用加锁。之所以不会读到过期的值，还是因为根据Java内存模型的happen before原则，对volatile字段的写入操作先于读操作，即使两个线程同时修改和获取volatile变量，get操作也能拿到最新的值。

1.6.3、put操作

• 由于put方法里需要对共享变量进行写入操作，所以为了线程安全，在操作共享变量时必须加锁。put方法首先定位到Segment，然后在Segment里进行插入操作。

1.添加步骤

1. 第一步判断是否需要对Segment里的HashEntry数组进行扩容。
2. 第二步定位添加元素的位置，然后将其放在HashEntry数组里。

2. 判断是否扩容以及如何扩容

1. 是否扩容：在插入元素前会先判断Segment里的HashEntry数组是否超过容量（threshold），如果超过阈值，则对数组进行扩容。
2. 如何扩容：首先会创建一个容量是原来容量两倍的数组，然后将原数组里的元素进行再散列后插入到新的数组里。为了高效，ConcurrentHashMap不会对整个容器进行扩容，而只对某个segment进行扩容。

1.6.4、size操作

• 如果要统计整个ConcurrentHashMap里元素的大小，就必须统计所有Segment里元素的大小后求和。

1. 面临的问题

在多线程场景下，是不是直接把所有Segment的count相加就可以得到整个ConcurrentHashMap大小了呢？

• 不是的，虽然相加时可以获取每个Segment的count的最新值，但是可能累加前使用的count发生了变化，那么统计结果就不准了。
• 解决办法：因为在累加count操作过程中，之前累加过的count发生变化的几率非常小，所以ConcurrentHashMap的做法是先尝试2次通过不锁住Segment的方式来统计各个Segment大小，ConcurrentHashMap通过使用modCount变量，在put、remove和clean方法里操作元素前都会将变量modCount进行加1，那么在统计size前后比较modCount是否发生变化，从而得知容器的大小是否发生变化。如果统计的过程中，容器的modCount发生了变化，则再采用加锁的方式来统计所有Segment的大小。

2、ConcurrentLinkedQueue

2.1、ConcurrentLinkedQueue简介

ConcurrentLinkedQueue是一个基于链接节点的无界线程安全队列，它采用先进先出的规则对节点进行排序，当我们添加一个元素的时候，它会添加到队列的尾部；当我们获取一个元素时，它会返回队列头部的元素。它采用了“wait-free”算法（即CAS算法）来实现。

2.2、ConcurrentLinkedQueue的结构

ConcurrentLinkedQueue由head节点和tail节点组成，每个节点（Node）由节点元素（item）和指向下一个节点（next）的引用组成，默认情况下head节点存储的元素为空，tail节点等于head节点。

2.3、入队列

2.3.1、总过程

1. 第一是将入队节点设置成当前队列尾节点的下一个节点；
2. 第二是更新tail节点，如果tail节点的next节点不为空，则将入队节点设置成tail节点，如果tail节点的next节点为空，则将入队节点设置成tail的next节点，所以tail节点不总是尾节点

2.3.2、总过程图示说明

• 添加元素1。队列更新head节点的next节点为元素1节点。又因为tail节点默认情况下等于head节点，所以它们的next节点都指向元素1节点。
• 添加元素2。队列首先设置元素1节点的next节点为元素2节点，然后更新tail节点指向元素2节点。
• 添加元素3，设置tail节点的next节点为元素3节点。
• 添加元素4，设置元素3的next节点为元素4节点，然后将tail节点指向元素4节点。

2.3.3、定位尾节点

tail节点并不总是尾节点，所以每次入队都必须先通过tail节点来找到尾节点。尾节点可能是tail节点，也可能是tail节点的next节点。就是通过判断tail是否有next节点，有则表示next节点可能是尾节点。

2.3.4、设置入队节点为尾节点

如果tail节点的next节点不为空，则将入队节点设置成tail节点，如果tail节点的next节点为空，则将入队节点设置成tail的next节点，所以tail节点不总是尾节点。

2.4、出队列

当head节点里有元素时，直接弹出head节点里的元素，而不会更新head节点。只有当head节点里没有元素时，出队操作才会更新head节点。

1. 首先获取头节点的元素，然后判断头节点元素是否为空。
2. 如果为空，表示另外一个线程已经进行了一次出队操作将该节点的元素取走。
3. 如果不为空，则使用CAS的方式将头节点的引用设置成null，如果CAS成功，则直接返回头节点的元素。
4. 如果不成功，表示另外一个线程已经进行了一次出队操作更新了head节点，导致元素发生了变化，需要重新获取头节点。

3、Java中的阻塞队列

3.1、什么是阻塞队列？

阻塞队列是一个支持两个附加操作的队列。这两个附加的操作支持阻塞的插入和移除方法。

1. 支持阻塞的插入方法：意思是当队列满时，队列会阻塞插入元素的线程，直到队列不满。
2. 支持阻塞的移除方法：意思是在队列为空时，获取元素的线程会等待队列变为非空。

1. 插入和移除操作的四种处理方式

1. 抛出异常：当队列满时，如果再往队列里插入元素，会抛出IllegalStateException（"Queuefull"）异常。当队列空时，从队列里获取元素会抛出NoSuchElementException异常。
2. 返回特殊值：当往队列插入元素时，会返回元素是否插入成功，成功返回true。如果是移除方法，则是从队列里取出一个元素，如果没有则返回null。
3. 一直阻塞：当阻塞队列满时，如果生产者线程往队列里put元素，队列会一直阻塞生产者线程，直到队列可用或者响应中断退出。当队列空时，如果消费者线程从队列里take元素，队列会阻塞住消费者线程，直到队列不为空。
4. 超时退出：当阻塞队列满时，如果生产者线程往队列里插入元素，队列会阻塞生产者线程一段时间，如果超过了指定的时间，生产者线程就会退出。

2. 特别注意

如果是无界阻塞队列，队列不可能会出现满的情况，所以使用put或offer方法永远不会被阻塞，而且使用offer方法时，该方法永远返回true。

3.2、使用场景

阻塞队列常用于生产者和消费者的场景

• 生产者是向队列里添加元素的线程。
• 消费者是从队列里取元素的线程。
• 阻塞队列就是生产者用来存放元素、消费者用来获取元素的容器。

3.3、Java里的阻塞队列

3.3.1、ArrayBlockingQueue

• ArrayBlockingQueue是一个用数组实现的有界阻塞队列。
• 默认情况下不保证线程公平的访问队列。
• 所谓公平访问队列是指阻塞的线程，可以按照阻塞的先后顺序访问队列，即先阻塞线程先访问队列。
• 非公平性是对先等待的线程是非公平的，当队列可用时，阻塞的线程都可以争夺访问队列的资格，有可能先阻塞的线程最后才访问队列。
• 访问者的公平性是使用可重入锁实现的

3.3.2、LinkedBlockingQueue

• LinkedBlockingQueue是一个用链表实现的有界阻塞队列。
• 此队列的默认和最大长度为Integer.MAX_VALUE。
• 此队列按照先进先出的原则对元素进行排序。

3.3.3、PriorityBlockingQueue

• PriorityBlockingQueue是一个支持优先级的无界阻塞队列。
• 默认情况下元素采取自然顺序升序排列。
• 也可以自定义类实现compareTo()方法来指定元素排序规则，或者初始化PriorityBlockingQueue时，指定构造参数Comparator来对元素进行排序。
• 需要注意的是不能保证同优先级元素的顺序。

3.3.4、DelayQueue

• DelayQueue是一个支持延时获取元素的无界阻塞队列。
• 队列使用PriorityQueue来实现。队列中的元素必须实现Delayed接口，在创建元素时可以指定多久才能从队列中获取当前元素。只有在延迟期满时才能从队列中提取元素。
• 延时阻塞队列的实现很简单，当消费者从队列里获取元素时，如果元素没有达到延时时间，就阻塞当前线程。

可使用场景

1. 缓存系统的设计：可以用DelayQueue保存缓存元素的有效期，使用一个线程循环查询DelayQueue，一旦能从DelayQueue中获取元素时，表示缓存有效期到了。
2. 定时任务调度：使用DelayQueue保存当天将会执行的任务和执行时间，一旦从DelayQueue中获取到任务就开始执行，比如TimerQueue就是使用DelayQueue实现的。

3.3.5、SynchronousQueue

• SynchronousQueue是一个不存储元素的阻塞队列。每一个put操作必须等待一个take操作，否则不能继续添加元素。
• 它支持公平访问队列。

3.3.6、LinkedTransferQueue

LinkedTransferQueue是一个由链表结构组成的无界阻塞TransferQueue队列。

1. transfer方法

• 如果当前有消费者正在等待接收元素（消费者使用take()方法或带时间限制的poll()方法时），transfer方法可以把生产者传入的元素立刻transfer（传输）给消费者。
• 如果没有消费者在等待接收元素，transfer方法会将元素存放在队列的tail节点，并等到该元素被消费者消费了才返回。

2. tryTransfer方法

• tryTransfer方法是用来试探生产者传入的元素是否能直接传给消费者。如果没有消费者等待接收元素，则返回false。
• 和transfer方法的区别是tryTransfer方法无论消费者是否接收，方法立即返回，而transfer方法是必须等到消费者消费了才返回。

3.3.7、LinkedBlockingDeque

• LinkedBlockingDeque是一个由链表结构组成的双向阻塞队列。
• 所谓双向队列指的是可以从队列的两端插入和移出元素。双向队列因为多了一个操作队列的入口，在多线程同时入队时，也就减少了一半的竞争。相比其他的阻塞队列，LinkedBlockingDeque多了addFirst、addLast、offerFirst、offerLast、peekFirst和peekLast等方法

3.4、阻塞队列的实现原理

使用通知模式实现

通知模式，就是当生产者往满的队列里添加元素时会阻塞住生产者，当消费者消费了一个队列中的元素后，会通知生产者当前队列可用。使用了Condition来实现。

4、Fork/Join框架

4.1、什么是Fork/Join框架?

• 用于并行执行任务的框架，是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架。
• Fork就是把一个大任务切分为若干子任务并行的执行。
• Join就是合并这些子任务的执行结果，最后得到这个大任务的结果。

运行图示说明

4.2、工作窃取算法

1. 什么是工作窃取算法?

工作窃取算法是指某个线程从其他队列里窃取任务来执行。

2.工作情形说明

• 假如我们需要做一个比较大的任务，可以把这个任务分割为若干互不依赖的子任务，为了减少线程间的竞争，把这些子任务分别放到不同的队列里，并为每个队列创建一个单独的线程来执行队列里的任务，线程和队列一一对应。
• 但是，有的线程会先把自己队列里的任务干完，而其他线程对应的队列里还有任务等待处理。干完活的线程与其等着，不如去帮其他线程干活，于是它就去其他线程的队列里窃取一个任务来执行。而在这时它们会访问同一个队列，所以为了减少窃取任务线程和被窃取任务线程之间的竞争，通常会使用双端队列，被窃取任务线程永远从双端队列的头部拿任务执行，而窃取任务的线程永远从双端队列的尾部拿任务执行。

图示

3. 优点

充分利用线程进行并行计算，减少了线程间的竞争。

4. 缺点

• 在某些情况下还是存在竞争，比如双端队列里只有一个任务时。
• 并且该算法会消耗了更多的系统资源，比如创建多个线程和多个双端队列。

4.3、Fork/Join框架的设计

1. 分割任务：首先我们需要有一个fork类来把大任务分割成子任务，有可能子任务还是很大，所以还需要不停地分割，直到分割出的子任务足够小。
2. 执行任务并合并结果：分割的子任务分别放在双端队列里，然后几个启动线程分别从双端队列里获取任务执行。子任务执行完的结果都统一放在一个队列里，启动一个线程从队列里拿数据，然后合并这些数据。
3. 工作窃取：当一个工作线程的队列里暂时没有任务时，它会随机从其他工作线程的队列的尾部获取一个任务。

4.4、使用Fork/Join框架

import java.util.concurrent.ExecutionException;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.ForkJoinTask;
import java.util.concurrent.RecursiveTask;

class MyTask extends RecursiveTask{


    private static final int VALUE = 10;
    private int begin;
    private int end;
    private int result;

    public MyTask(int begin,int end){
        this.begin = begin;
        this.end = end;
    }

    @Override
    protected Object compute() {
        if((end - begin) <= VALUE){
            for (int i = begin; i <= end ; i++) {
                result += i;
            }
        }else{
            int mid = (begin + end) / 2;
            MyTask myTask1 = new MyTask(begin,mid);
            MyTask myTask2 = new MyTask(mid + 1,end);

            myTask1.fork();
            myTask2.fork();

            result = (Integer) myTask1.join() + (Integer) myTask2.join();
        }
        return result;
    }
}

public class ForkJoinDemo {
    public static void main(String[] args) throws ExecutionException, InterruptedException {
        MyTask myTask = new MyTask(0,100);

        ForkJoinPool forkJoinPool = new ForkJoinPool();

        ForkJoinTask forkJoinTask = forkJoinPool.submit(myTask);

        System.out.println(forkJoinTask.get());


        forkJoinPool.shutdown();
    }
}

• 需要实现compute方法。
• 在这个方法里，首先需要判断任务是否足够小，如果足够小就直接执行任务。
• 如果不足够小，就必须分割成两个子任务，每个子任务在调用fork方法时，又会进入compute方法，看看当前子任务是否需要继续分割成子任务。
• 如果不需要继续分割，则执行当前子任务并返回结果。使用join方法会等待子任务执行完并得到其结果。

4.5、Fork/Join框架的异常处理

• ForkJoinTask提供了isCompletedAbnormally()方法来检查任务是否已经抛出异常或已经被取消了，并且可以通过ForkJoinTask的getException方法获取异常。
• getException方法返回Throwable对象，如果任务被取消了则返回CancellationException。如果任务没有完成或者没有抛出异常则返回null。

4.6、Fork/Join框架的实现原理

4.6.1、总说明

• ForkJoinPool由ForkJoinTask数组和ForkJoinWorkerThread数组组成。
• ForkJoinTask数组负责将存放程序提交给ForkJoinPool的任务。
• 而ForkJoinWorkerThread数组负责执行这些任务。

4.6.2、ForkJoinTask的fork方法实现原理

1. pushTask方法说明

• pushTask方法把当前任务存放在ForkJoinTask数组队列里。
• 然后再调用ForkJoinPool的signalWork()方法唤醒或创建一个工作线程来执行任务。

final void pushTask(ForkJoinTask<> t) {
    ForkJoinTask<>[] q; 
    int s, m;
    if ((q = queue) != null) { // ignore if queue removed
        long u = (((s = queueTop) & (m = q.length - 1)) << ASHIFT) + ABASE;
        UNSAFE.putOrderedObject(q, u, t);
        queueTop = s + 1; // or use putOrderedInt
        
        if ((s -= queueBase) <= 2)
        pool.signalWork();
        else if (s == m)
        growQueue();
    }
}

2. 实现原理

• 当我们调用ForkJoinTask的fork方法时，程序会调用ForkJoinWorkerThread的pushTask方法异步地执行这个任务，然后立即返回结果。

public final ForkJoinTask<V> fork() {
    ((ForkJoinWorkerThread) Thread.currentThread()).pushTask(this);
    return this;
}

4.6.3、ForkJoinTask的join方法实现原理

1. join()的作用

Join方法的主要作用是 阻塞当前线程并等待获取结果。

public final V join() {
    if (doJoin() != NORMAL)
    return reportResult();
    else
    return getRawResult();
}
private V reportResult() {
    int s; Throwable ex;
    
    if ((s = status) == CANCELLED)
    throw new CancellationException();
    
    if (s == EXCEPTIONAL && (ex = getThrowableException()) != null)
    UNSAFE.throwException(ex);
    
    return getRawResult();
}

2. 任务状态

任务状态有4种：已完成（NORMAL）、被取消（CANCELLED）、信号（SIGNAL）和出现异常（EXCEPTIONAL）。

通过doJoin()方法得到当前任务的状态来判断返回什么结果

1. 如果任务状态是已完成，则直接返回任务结果。
2. 如果任务状态是被取消，则直接抛出CancellationException。
3. 如果任务状态是抛出异常，则直接抛出对应的异常。

3.dojoin()的说明

private int doJoin() {
    Thread t; 
    ForkJoinWorkerThread w;
    int s;
    boolean completed;
    
    if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) {
        if ((s = status) < 0)
        return s;
        if ((w = (ForkJoinWorkerThread)t).unpushTask(this)) {
            try {
                completed = exec();
            } catch (Throwable rex) {
                return setExceptionalCompletion(rex);
            }
            if (completed)
            return setCompletion(NORMAL);
        }
        
        return w.joinTask(this);
    }
    else
    return externalAwaitDone();
}

1. 首先通过查看任务的状态，看任务是否已经执行完成。
2. 如果执行完成，则直接返回任务状态；
3. 如果没有执行完，则从任务数组里取出任务并执行。
4. 如果任务顺利执行完成，则设置任务状态为NORMAL。
5. 如果出现异常，则记录异常，并将任务状态设置为EXCEPTIONAL。