前提
最近接触到的一个项目要兼容新老系统,最终采用了ThreadLocal
(实际上用的是InheritableThreadLocal
)用于在子线程获取父线程中共享的变量。问题是解决了,但是后来发现对ThreadLocal
的理解不够深入,于是顺便把它的源码阅读理解了一遍。在谈到ThreadLocal
之前先卖个关子,先谈谈黄金分割数。本文在阅读ThreadLocal
源码的时候是使用JDK8(1.8.0_181)。
黄金分割数与斐波那契数列
首先复习一下斐波那契数列,下面的推导过程来自某搜索引擎的wiki:
- 斐波那契数列:1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, ...
- 通项公式:假设F(n)为该数列的第n项(n ∈ N*),那么这句话可以写成如下形式:F(n) = F(n-1) + F(n-2)。
有趣的是,这样一个完全是自然数的数列,通项公式却是用无理数来表达的。而且当n趋向于无穷大时,前一项与后一项的比值越来越逼近0.618(或者说后一项与前一项的比值小数部分越来越逼近0.618),而这个值0.618就被称为黄金分割数。证明过程如下:
黄金分割数的准确值为(根号5 - 1)/2,约等于0.618。
黄金分割数的应用
黄金分割数被广泛使用在美术、摄影等艺术领域,因为它具有严格的比例性、艺术性、和谐性,蕴藏着丰富的美学价值,能够激发人的美感。当然,这些不是本文研究的方向,我们先尝试求出无符号整型和带符号整型的黄金分割数的具体值:
public static void main(String[] args) throws Exception { //黄金分割数 * 2的32次方 = 2654435769 - 这个是无符号32位整数的黄金分割数对应的那个值 long c = (long) ((1L << 32) * (Math.sqrt(5) - 1) / 2); System.out.println(c); //强制转换为带符号为的32位整型,值为-1640531527 int i = (int) c; System.out.println(i); } 复制代码
通过一个线段图理解一下:
也就是2654435769为32位无符号整数的黄金分割值,而-1640531527就是32位带符号整数的黄金分割值。而ThreadLocal中的哈希魔数正是1640531527(十六进制为0x61c88647)。为什么要使用0x61c88647作为哈希魔数?这里提前说一下ThreadLocal
在ThreadLocalMap
(ThreadLocal
在ThreadLocalMap
以Key的形式存在)中的哈希求Key下标的规则:
哈希算法:keyIndex = ((i + 1) * HASH_INCREMENT) & (length - 1)
其中,i为ThreadLocal
实例的个数,这里的HASH_INCREMENT就是哈希魔数0x61c88647,length为ThreadLocalMap
中可容纳的Entry
(K-V结构)的个数(或者称为容量)。在ThreadLocal
中的内部类ThreadLocalMap
的初始化容量为16,扩容后总是2的幂次方,因此我们可以写个Demo模拟整个哈希的过程:
public class Main { private static final int HASH_INCREMENT = 0x61c88647; public static void main(String[] args) throws Exception { hashCode(4); hashCode(16); hashCode(32); } private static void hashCode(int capacity) throws Exception { int keyIndex; for (int i = 0; i < capacity; i++) { keyIndex = ((i + 1) * HASH_INCREMENT) & (capacity - 1); System.out.print(keyIndex); System.out.print(" "); } System.out.println(); } } 复制代码
上面的例子中,我们分别模拟了ThreadLocalMap
容量为4,16,32的情况下,不触发扩容,并且分别"放入"4,16,32个元素到容器中,输出结果如下:
3 2 1 0 7 14 5 12 3 10 1 8 15 6 13 4 11 2 9 0 7 14 21 28 3 10 17 24 31 6 13 20 27 2 9 16 23 30 5 12 19 26 1 8 15 22 29 4 11 18 25 0 复制代码
每组的元素经过散列算法后恰好填充满了整个容器,也就是实现了完美散列。实际上,这个并不是偶然,其实整个哈希算法可以转换为多项式证明:证明(x - y) * HASH_INCREMENT != 2^n * (n m)
,在x != y,n != m
,HASH_INCREMENT为奇数的情况下恒成立,具体证明可以自行完成。HASH_INCREMENT赋值为0x61c88647的API文档注释如下:
连续生成的哈希码之间的差异(增量值),将隐式顺序线程本地id转换为几乎最佳分布的乘法哈希值,这些不同的哈希值最终生成一个2的幂次方的哈希表。
ThreadLocal是什么
下面引用ThreadLocal
的API注释:
This class provides thread-local variables. These variables differ from their normal counterparts in that each thread that accesses one (via its get or set method) has its own, independently initialized copy of the variable. ThreadLocal instances are typically private static fields in classes that wish to associate state with a thread (e.g., a user ID or Transaction ID)
稍微翻译一下:ThreadLocal
提供线程局部变量。这些变量与正常的变量不同,因为每一个线程在访问ThreadLocal
实例的时候(通过其get或set方法)都有自己的、独立初始化的变量副本。ThreadLocal
实例通常是类中的私有静态字段,使用它的目的是希望将状态(例如,用户ID或事务ID)与线程关联起来。
ThreadLocal
由Java界的两个大师级的作者编写,Josh Bloch和Doug Lea。Josh Bloch是JDK5语言增强、Java集合(Collection)框架的创办人以及《Effective Java》系列的作者。Doug Lea是JUC(java.util.concurrent
)包的作者,Java并发编程的泰斗。所以,ThreadLocal
的源码十分值得学习。
ThreadLocal的原理
ThreadLocal
虽然叫线程本地(局部)变量,但是实际上它并不存放任何的信息,可以这样理解:它是线程(Thread
)操作ThreadLocalMap
中存放的变量的桥梁。它主要提供了初始化、set()
、get()
、remove()
几个方法。这样说可能有点抽象,下面画个图说明一下在线程中使用ThreadLocal
实例的set()
和get()
方法的简单流程图。
假设我们有如下的代码,主线程的线程名字是main(也有可能不是main):
public class Main { private static final ThreadLocal<String> LOCAL = new ThreadLocal<>(); public static void main(String[] args) throws Exception{ LOCAL.set("doge"); System.out.println(LOCAL.get()); } } 复制代码
线程实例和ThreadLocal
实例的关系如下:
上面只描述了单线程的情况并且因为是主线程忽略了Thread t = new Thread()
这一步,如果有多个线程会稍微复杂一些,但是原理是不变的,ThreadLocal
实例总是通过Thread.currentThread()
获取到当前操作线程实例,然后去操作线程实例中的ThreadLocalMap
类型的成员变量,因此它是一个桥梁,本身不具备存储功能。
ThreadLocal源码分析
对于ThreadLocal
的源码,我们需要重点关注set()
、get()
、remove()
几个方法。
ThreadLocal的内部属性
//获取下一个ThreadLocal实例的哈希魔数 private final int threadLocalHashCode = nextHashCode(); //原子计数器,主要到它被定义为静态 private static AtomicInteger nextHashCode = new AtomicInteger(); //哈希魔数(增长数),也是带符号的32位整型值黄金分割值的取正 private static final int HASH_INCREMENT = 0x61c88647; //生成下一个哈希魔数 private static int nextHashCode() { return nextHashCode.getAndAdd(HASH_INCREMENT); } 复制代码
这里需要注意一点,threadLocalHashCode是一个final的属性,而原子计数器变量nextHashCode和生成下一个哈希魔数的方法nextHashCode()
是静态变量和静态方法,静态变量只会初始化一次。换而言之,每新建一个ThreadLocal
实例,它内部的threadLocalHashCode就会增加0x61c88647。举个例子:
//t1中的threadLocalHashCode变量为0x61c88647 ThreadLocal t1 = new ThreadLocal(); //t2中的threadLocalHashCode变量为0x61c88647 + 0x61c88647 ThreadLocal t2 = new ThreadLocal(); //t3中的threadLocalHashCode变量为0x61c88647 + 0x61c88647 + 0x61c88647 ThreadLocal t3 = new ThreadLocal(); 复制代码
threadLocalHashCode是下面的ThreadLocalMap
结构中使用的哈希算法的核心变量,对于每个ThreadLocal
实例,它的threadLocalHashCode是唯一的。
内部类ThreadLocalMap的基本结构和源码分析
ThreadLocal
内部类ThreadLocalMap
使用了默认修饰符,也就是包(包私有)可访问的。ThreadLocalMap
内部定义了一个静态类Entry
。我们重点看下ThreadLocalMap
的源码,先看成员和结构部分:
/** * ThreadLocalMap是一个定制的散列映射,仅适用于维护线程本地变量。 * 它的所有方法都是定义在ThreadLocal类之内。 * 它是包私有的,所以在Thread类中可以定义ThreadLocalMap作为变量。 * 为了处理非常大(指的是值)和长时间的用途,哈希表的Key使用了弱引用(WeakReferences)。 * 引用的队列(弱引用)不再被使用的时候,对应的过期的条目就能通过主动删除移出哈希表。 */ static class ThreadLocalMap { //注意这里的Entry的Key为WeakReference<ThreadLocal<?>> static class Entry extends WeakReference<ThreadLocal<?>> { //这个是真正的存放的值 Object value; // Entry的Key就是ThreadLocal实例本身,Value就是输入的值 Entry(ThreadLocal<?> k, Object v) { super(k); value = v; } } //初始化容量,必须是2的幂次方 private static final int INITIAL_CAPACITY = 16; //哈希(Entry)表,必须时扩容,长度必须为2的幂次方 private Entry[] table; //哈希表中元素(Entry)的个数 private int size = 0; //下一次需要扩容的阈值,默认值为0 private int threshold; //设置下一次需要扩容的阈值,设置值为输入值len的三分之二 private void setThreshold(int len) { threshold = len * 2 / 3; } // 以len为模增加i private static int nextIndex(int i, int len) { return ((i + 1 < len) ? i + 1 : 0); } // 以len为模减少i private static int prevIndex(int i, int len) { return ((i - 1 >= 0) ? i - 1 : len - 1); } } 复制代码
这里注意到十分重要的一点:ThreadLocalMap$Entry
是WeakReference
(弱引用),并且键值Key为ThreadLocal<?>
实例本身,这里使用了无限定的泛型通配符。
接着看ThreadLocalMap
的构造函数:
// 构造ThreadLocal时候使用,对应ThreadLocal的实例方法void createMap(Thread t, T firstValue) ThreadLocalMap(ThreadLocal<?> firstKey, Object firstValue) { // 哈希表默认容量为16 table = new Entry[INITIAL_CAPACITY]; // 计算第一个元素的哈希码 int i = firstKey.threadLocalHashCode & (INITIAL_CAPACITY - 1); table[i] = new Entry(firstKey, firstValue); size = 1; setThreshold(INITIAL_CAPACITY); } // 构造InheritableThreadLocal时候使用,基于父线程的ThreadLocalMap里面的内容进行提取放入新的ThreadLocalMap的哈希表中 // 对应ThreadLocal的静态方法static ThreadLocalMap createInheritedMap(ThreadLocalMap parentMap) private ThreadLocalMap(ThreadLocalMap parentMap) { Entry[] parentTable = parentMap.table; int len = parentTable.length; setThreshold(len); table = new Entry[len]; // 基于父ThreadLocalMap的哈希表进行拷贝 for (Entry e : parentTable) { if (e != null) { @SuppressWarnings("unchecked") ThreadLocal<Object> key = (ThreadLocal<Object>) e.get(); if (key != null) { Object value = key.childValue(e.value); Entry c = new Entry(key, value); int h = key.threadLocalHashCode & (len - 1); while (table[h] != null) h = nextIndex(h, len); table[h] = c; size++; } } } } 复制代码
这里注意一下,ThreadLocal
的set()
方法调用的时候会懒初始化一个ThreadLocalMap
并且放入第一个元素。而ThreadLocalMap
的私有构造是提供给静态方法ThreadLocal#createInheritedMap()
使用的。
接着看ThreadLocalMap
提供给ThreadLocal
使用的一些实例方法:
// 如果Key在哈希表中找不到哈希槽的时候会调用此方法 private Entry getEntryAfterMiss(ThreadLocal<?> key, int i, Entry e) { Entry[] tab = table; int len = tab.length; // 这里会通过nextIndex尝试遍历整个哈希表,如果找到匹配的Key则返回Entry // 如果哈希表中存在Key == null的情况,调用expungeStaleEntry进行清理 while (e != null) { ThreadLocal<?> k = e.get(); if (k == key) return e; if (k == null) expungeStaleEntry(i); else i = nextIndex(i, len); e = tab[i]; } return null; } // 1.清空staleSlot对应哈希槽的Key和Value // 2.对staleSlot到下一个空的哈希槽之间的所有可能冲突的哈希表部分槽进行重哈希,置空Key为null的槽 // 3.注意返回值是staleSlot之后的下一个空的哈希槽的哈希码 private int expungeStaleEntry(int staleSlot) { Entry[] tab = table; int len = tab.length; // expunge entry at staleSlot // 清空staleSlot对应哈希槽的Key和Value tab[staleSlot].value = null; tab[staleSlot] = null; size--; // Rehash until we encounter null // 下面的过程是对staleSlot到下一个空的哈希槽之间的所有可能冲突的哈希表部分槽进行重哈希,置空Key为null的槽 Entry e; int i; for (i = nextIndex(staleSlot, len); (e = tab[i]) != null; i = nextIndex(i, len)) { ThreadLocal<?> k = e.get(); if (k == null) { e.value = null; tab[i] = null; size--; } else { int h = k.threadLocalHashCode & (len - 1); if (h != i) { tab[i] = null; // Unlike Knuth 6.4 Algorithm R, we must scan until // null because multiple entries could have been stale. while (tab[h] != null) h = nextIndex(h, len); tab[h] = e; } } } return i; } // 这里个方法比较长,作用是替换哈希码为staleSlot的哈希槽中Entry的值 private void replaceStaleEntry(ThreadLocal<?> key, Object value, int staleSlot) { Entry[] tab = table; int len = tab.length; Entry e; // Back up to check for prior stale entry in current run. // We clean out whole runs at a time to avoid continual // incremental rehashing due to garbage collector freeing // up refs in bunches (i.e., whenever the collector runs). int slotToExpunge = staleSlot; // 这个循环主要是为了找到staleSlot之前的最前面的一个Key为null的哈希槽的哈希码 for (int i = prevIndex(staleSlot, len); (e = tab[i]) != null; i = prevIndex(i, len)) if (e.get() == null) slotToExpunge = i; // Find either the key or trailing null slot of run, whichever // occurs first // 遍历staleSlot之后的哈希槽,如果Key匹配则用输入值替换 for (int i = nextIndex(staleSlot, len); (e = tab[i]) != null; i = nextIndex(i, len)) { ThreadLocal<?> k = e.get(); // If we find key, then we need to swap it // with the stale entry to maintain hash table order. // The newly stale slot, or any other stale slot // encountered above it, can then be sent to expungeStaleEntry // to remove or rehash all of the other entries in run. if (k == key) { e.value = value; tab[i] = tab[staleSlot]; tab[staleSlot] = e; // Start expunge at preceding stale entry if it exists if (slotToExpunge == staleSlot) slotToExpunge = i; cleanSomeSlots(expungeStaleEntry(slotToExpunge), len); return; } // If we didn't find stale entry on backward scan, the // first stale entry seen while scanning for key is the // first still present in the run. if (k == null && slotToExpunge == staleSlot) slotToExpunge = i; } // Key匹配不了,则新创建一个哈希槽 // If key not found, put new entry in stale slot tab[staleSlot].value = null; tab[staleSlot] = new Entry(key, value); // 这里如果当前的staleSlot和找到前置的slotToExpunge不一致会进行一次清理 // If there are any other stale entries in run, expunge them if (slotToExpunge != staleSlot) cleanSomeSlots(expungeStaleEntry(slotToExpunge), len); } // 对当前哈希表中所有的Key为null的Entry调用expungeStaleEntry private void expungeStaleEntries() { Entry[] tab = table; int len = tab.length; for (int j = 0; j < len; j++) { Entry e = tab[j]; if (e != null && e.get() == null) expungeStaleEntry(j); } } // 清理第i个哈希槽之后的n个哈希槽,如果遍历的时候发现Entry的Key为null,则n会重置为哈希表的长度,expungeStaleEntry有可能会重哈希使得哈希表长度发生变化 private boolean cleanSomeSlots(int i, int n) { boolean removed = false; Entry[] tab = table; int len = tab.length; do { i = nextIndex(i, len); Entry e = tab[i]; if (e != null && e.get() == null) { n = len; removed = true; i = expungeStaleEntry(i); } } while ( (n >>>= 1) != 0); return removed; } /** * 这个方法主要给`ThreadLocal#get()`调用,通过当前ThreadLocal实例获取哈希表中对应的Entry * */ private Entry getEntry(ThreadLocal<?> key) { // 计算Entry的哈希值 int i = key.threadLocalHashCode & (table.length - 1); Entry e = table[i]; if (e != null && e.get() == key) return e; else // 注意这里,如果e为null或者Key对不上,会调用getEntryAfterMiss return getEntryAfterMiss(key, i, e); } // 重哈希,必要时进行扩容 private void rehash() { // 清理所有空的哈希槽,并且进行重哈希 expungeStaleEntries(); // Use lower threshold for doubling to avoid hysteresis // 哈希表的哈希元素个数大于3/4阈值时候触发扩容 if (size >= threshold - threshold / 4) resize(); } // 扩容,简单的扩大2倍的容量 private void resize() { Entry[] oldTab = table; int oldLen = oldTab.length; int newLen = oldLen * 2; Entry[] newTab = new Entry[newLen]; int count = 0; for (Entry e : oldTab) { if (e != null) { ThreadLocal<?> k = e.get(); if (k == null) { e.value = null; // Help the GC } else { int h = k.threadLocalHashCode & (newLen - 1); while (newTab[h] != null) h = nextIndex(h, newLen); newTab[h] = e; count++; } } } setThreshold(newLen); size = count; table = newTab; } // 基于ThreadLocal作为key,对当前的哈希表设置值,此方法由`ThreadLocal#set()`调用 private void set(ThreadLocal<?> key, Object value) { // We don't use a fast path as with get() because it is at // least as common to use set() to create new entries as // it is to replace existing ones, in which case, a fast // path would fail more often than not. Entry[] tab = table; int len = tab.length; int i = key.threadLocalHashCode & (len-1); // 变量哈希表 for (Entry e = tab[i]; e != null; e = tab[i = nextIndex(i, len)]) { ThreadLocal<?> k = e.get(); // Key匹配,直接设置值 if (k == key) { e.value = value; return; } // 如果Entry的Key为null,则替换该Key为当前的key,并且设置值 if (k == null) { replaceStaleEntry(key, value, i); return; } } tab[i] = new Entry(key, value); int sz = ++size; // 清理当前新设置元素的哈希槽下标到sz段的哈希槽,如果清理成功并且sz大于阈值则触发扩容 if (!cleanSomeSlots(i, sz) && sz >= threshold) rehash(); } 复制代码
简单来说,ThreadLocalMap
是ThreadLocal
真正的数据存储容器,实际上ThreadLocal
数据操作的复杂部分的所有逻辑都在ThreadLocalMap
中进行,而ThreadLocalMap
实例是Thread
的成员变量,在ThreadLocal#set()
方法首次调用的时候设置到当前执行的线程实例中。如果在同一个线程中使用多个ThreadLocal
实例,实际上,每个ThreadLocal
实例对应的是ThreadLocalMap
的哈希表中的一个哈希槽。举个例子,在主函数主线程中使用多个ThreadLocal
实例:
public class ThreadLocalMain { private static final ThreadLocal<Integer> TL_1 = new ThreadLocal<>(); private static final ThreadLocal<String> TL_2 = new ThreadLocal<>(); private static final ThreadLocal<Long> TL_3 = new ThreadLocal<>(); public static void main(String[] args) throws Exception { TL_1.set(1); TL_2.set("1"); TL_3.set(1L); Field field = Thread.class.getDeclaredField("threadLocals"); field.setAccessible(true); Object o = field.get(Thread.currentThread()); System.out.println(o); } } 复制代码
实际上,主线程的threadLocals属性中的哈希表中一般不止我们上面定义的三个ThreadLocal
,因为加载主线程的时候还有可能在其他地方使用到ThreadLocal
,笔者某次Debug的结果如下:
用PPT画图简化一下:
上图threadLocalHashCode属性一行的表是为了标出每个Entry的哈希槽的哈希值,实际上,threadLocalHashCode是ThreadLocal@XXXX
中的一个属性,这是很显然的,本来threadLocalHashCode就是ThreadLocal
的一个成员变量。
上面只是简单粗略对ThreadLocalMap
的源码进行了流水账的分析,下文会作一些详细的图,说明一下ThreadLocal
和ThreadLocalMap
中的一些核心操作的过程。