引入缓存
现代计算机中,CPU的指令速度远超内存的存取速度,由于CPU和内存的运算速度有几个数量级的差距,所以现代计算机系统加入一层读写速度尽可能接近CPU运算速度的高速缓存(Cache)来作为内存与处理器之间的缓冲,将运算需要使用到的数据复制到缓存中,CPU运算操作的是内存数据的副本,当运算结束后再从缓存将副本数据同步回内存之中,这样处理器就无须等待缓慢的内存读写了。
读取缓存
当CPU要读取一个数据时,首先从一级缓存中查找,如果没有找到再从二级缓存中查找,如果还是没有就从三级缓存或内存中查找。
SMP结构组成
计算机在运行中,先从内存中取出第一条指令,通过控制器译码,按照指令的要求从存储器中取出数据进行制定的逻辑运算后再按照内存地址把结果写回内存中,接着再取出来第二条指令,依次遍历执行下去。
SMP逻辑结构(cpu与缓存的一致性)
- 单线程:CPU核心缓存只被一个线程访问。缓存独占,不会出现访问冲突问题。
- 单核 CPU,多线程:进程中的多个线程会同时访问进程中的共享数据,CPU 将某块内存加载到缓存后,不同线程在访问相同的物理地址的时候,都会映射到相同的缓存位置,这样即使发生线程的切换,缓存仍然不会失效,何时候只有一个线程在执行,不会发生访问冲突的问题。
- 多核 CPU,多线程:每个核都至少有一个 L1 缓存。多个线程访问进程中的某个共享内存,且这多个线程分别在不同的核心上执行,则每个核心都会在各自的Cache中保留一份共享内存的缓冲,由于多核是可以并行的,可能会出现多个线程同时写各自的缓存的情况,而各自的 Cache 之间的数据就有不一致性的问题(并发导致的根源问题)。
CPU多核缓存架构(MESI的实现)
为了解决这个问题,需要各个处理器访问缓存时都遵循一些协议,在读写时要根据协议来进行操作,这个协议就是MESI协议(缓存一致性协议)
- 在不同的硬件生产商和不同的操作系统下,内存的访问逻辑有一定的差异,结果就是当你的代码在某个系统环境下运行良好,并且线程安全,但是换了个系统就出现各种问题;
- 这是因为不同的处理器,在处理器优化和指令重排等方面存在差异,造成同样的代码,在经过不同的处理器优化和指令重排后,最后执行出来的结果可能不同,这是我们所不能接受的。
- JMM就应运而生了,究其根本就是为了解决在并发环境下,保证数据的安全,满足场景的可见性、原子性、有序性。
状态 | 描述 | 监听任务 |
M 修改 (Modified) | 该Cache line有效,数据被修改了,和内存中的数据不一致,数据只存在于本Cache中。 | 缓存行必须时刻监听所有试图读该缓存行相对就主存的操作,这种操作必须在缓存将该缓存行写回主存并将状态变成S(共享)状态之前被延迟执行。 |
E 独享(Exclusive) | 该Cache line有效,数据和内存中的数据一致,数据只存在于本Cache中。 | 缓存行也必须监听其它缓存读主存中该缓存行的操作,一旦有这种操作,该缓存行需要变成S(共享)状态。 |
S 共享 (Shared) | 该Cache line有效,数据和内存中的数据一致,数据存在于很多Cache中。 | 缓存行也必须监听其它缓存使该缓存行无效或者独享该缓存行的请求,并将该缓存行变成无效(Invalid)。 |
I 无效 (Invalid) | 该Cache line无效。 | 无 |
CPU线程切换导致原子性问题(原子性)
原子性:把一个操作或者多个操作视为一个整体,在执行的过程不能被中断的特性叫原子性。
- 为了最大化的利用CPU,CPU采用时间片的方式,切换线程执行。而在切换线程的过程中会导致原子性问题
指令重排序问题(有序性)
进程和线程的本质是增加并行/并发的任务数量来提高CPU的执行效率,缓存的本质是通过减少IO时间来提升CPU的利用率。
- CPU指令优化的初衷就是想通过调整CPU指令的执行顺序或异步化的操作来提升CPU执行指令的效率。
- 为了使得处理器内部的运算单元能尽量被充分利用,处理器可能会对输入代码进行乱序执行优化,处理器会在计算之后将乱序执行的结果重组,优化原则是保证重排序后不影响单线程执行结果(As If Serial)。
- 重排序的大体逻辑就是优先把CPU比较耗时的指令放到最先执行,然后在这些指令执行的空余时间来执行其他指令。**Java虚拟机的即时编译器中也有类似的指令重排序优化。
(编译操作-(语义优化)指令重排->处理器级别重排(指令优化)->内存优化指令重排(内存分析优化))
内存模型
为了保证共享内存使用的正确性(原子性、有序性、可见性),内存模型定义了共享内存中多线程读写操作的规范。通过这些规则来规范对主内存的读写,从而保障指令的正确执行。
解决了CPU多级缓存、处理器优化、指令重排等导致的内存访问问题,保证了并发场景下的一致性、原子性和有序性。
Java内存模型(JMM)
JMM是一种规范,目的是解决由于多线程通过共享内存进行通信时,存在的工作内存数据不一致、编译器对代码指令重排序、处理器对代码乱序执行、CPU切换线程等带来的问题。
- JMM从java 5开始的JSR-133发布后,就比较成熟完善了;
JMM是符合内存模型规范的,屏蔽了各种硬件和操作系统的访问差异的,保证了Java程序在各种平台下对内存的访问都能保证效果一致的机制。(如同JVM一样标准规范)。
Java线程内存模型规定:
- 所有的变量都存储在主内存中,每条线程还有自己的工作内存,线程的工作内存中保存了该线程中是用到的变量的主内存副本拷贝,线程对变量的所有操作都必须在工作内存中进行,而不能直接读写主内存。
- 不同的线程之间也无法直接访问对方工作内存中的变量,线程间变量的传递均需要自己的工作内存和主存之间进行数据同步进行,也规定了如何做数据同步以及什么时候做数据同步。
内存交互操作
内存交互操作有8种,虚拟机实现必须保证每一个操作都是原子的,不可在分的:
- lock(锁定):作用于主内存的变量,把一个变量标识为线程独占状态
- unlock(解锁):作用于主内存的变量,它把一个处于锁定状态的变量释放出来,释放后的变量才可以被其他线程锁定
- read(读取):作用于主内存变量,它把一个变量的值从主内存传输到线程的工作内存中,以便随后的load动作使用
- load(载入):作用于工作内存的变量,它把read操作从主存中变量放入工作内存中;
- use(使用):作用于工作内存中的变量,它把工作内存中的变量传输给执行引擎,每当虚拟机遇到一个需要使用到变量的值,就会使用到这个指令
- assign(赋值):作用于工作内存中的变量,它把一个从执行引擎中接受到的值放入工作内存的变量副本中
- store(存储):作用于主内存中的变量,它把一个从工作内存中一个变量的值传送到主内存中,以便后续的write使用
- write(写入):作用于主内存中的变量,它把store操作从工作内存中得到的变量的值放入主内存的变量中
JMM对这八种指令的使用,制定了如下规则:
- 不允许read和load、store和write操作之一单独出现,即使用了read必须load,使用了store必须write
- 不允许线程丢弃他最近的assign操作,即工作变量的数据改变了之后,必须告知主存,不允许一个线程将没有assign的数据从工作内存同步回主内存。
- 一个新的变量必须在主内存中诞生,不允许工作内存直接使用一个未被初始化的变量。就是对变量实施use、store操作之前,必须经过load、assign操作。
- 一个变量同一时间只有一个线程能对其进行lock。多次lock后,必须执行相同次数的unlock才能解锁。
- 如果对一个变量进行lock操作,会清空所有工作内存中此变量的值,在执行引擎使用这个变量前,必须重新load或assign操作初始化变量的值。
- 如果一个变量没有被lock,就不能对其进行unlock操作。也不能unlock一个被其他线程锁住的变量。
- 对一个变量进行unlock操作之前,必须把此变量同步回主内存。
特征
可见性
是指当多个线程访问同一个变量时,一个线程修改了这个变量的值,其他线程能够立即看得到修改的值;
Java可见性,可以使用 volatile 关键字,那就是被其修饰的变量在被修改后会立即同步到主内存(其实也是要反应时间的)主要靠内存屏障;
Java 中的 Synchronized 和 Final 两个关键字也可以实现可见性;
原子性
- 是指在一个操作中被当作一个整体,要么一起执行,要么就不执行;
- 为了保证原子性,Java提供了两个高级的字节码指令 Monitorenter 和 Monitorexit,对应的关键字就是 Synchronized;
有序性
- 程序执行的顺序按照代码的先后顺序执行;
- 可以使用 synchronized 和 volatile 来保证多线程之间操作的有序性,只是两者实现的方式不一样,volatile 关键字会禁止指令重排,synchronized 关键字保证同一时刻只允许一条线程操作;
到这里,我们似乎发现了,Synchronized 好像可以同时满足三种特征,这也是Synchronized 被用的很频繁的原因,但是 Synchronized 是比较影响性能的,虽然编译器提供了很多锁优化技术,但是也不建议过度使用。
Happen-Before 规则
分析一个并发程序是否安全,更多时候其实都依赖Happen-Before原则进行分析。
就是当A操作先行发生于B操作,则在发生B操作的时候,操作A产生的影响能被B观察到,“影响”包括修改了内存中的共享变量的值、发送了消息、调用了方法等;
- 程序次序规则(Program Order Rule):在一个线程内,程序的执行规则跟程序的书写规则是一致的,从上往下执行。
- 管程锁定规则(Monitor Lock Rule):一个Unlock的操作肯定先于下一次Lock的操作。这里必须是同一个锁。同理我们可以认为在synchronized同步同一个锁的时候,锁内先行执行的代码,对后续同步该锁的线程来说是完全可见的。
- volatile变量规则(volatile Variable Rule):对同一个volatile的变量,先行发生的写操作,肯定早于后续发生的读操作
- 线程启动规则(Thread Start Rule):Thread对象的start()方法先行发生于此线程的没一个动作
- 线程中止规则(Thread Termination Rule):Thread对象的中止检测(如:Thread.join(),
- Thread.isAlive()等)操作,必行晚于线程中所有操作
- 线程中断规则(Thread Interruption Rule):对线程的interruption()调用,先于被调用的线程
- 检测中断事件(Thread.interrupted())的发生
- 对象中止规则(Finalizer Rule):一个对象的初始化方法先于一个方法执行Finalizer()方法
- 传递性(Transitivity):如果操作A先于操作B、操作B先于操作C,则操作A先于操作C