敲黑板!原子变量与内存模型是什么鬼!

简介: 本文从原子变量的概念、三种内存模型和四种具体的锁三个角度进行分享。通过本文的阅读可以深入理解原子变量,理解内存模型的实现原理,同时了解一些常见的spin lock及它们各自的优缺点和适用场景。
数十款阿里云产品限时折扣中, 赶紧点击这里 ,领劵开始云上实践吧!

演讲嘉宾简介:陶云峰,阿里云高级技术专家,上海交通大学理论计算机科学博士,专注数据存储、分布式系统与计算等领域,写了20多年程序。2000年参加ACM/ICPC大赛,实现亚洲队伍进World Final前十的突破。

本次分享主要包括以下内容:
1. 原子变量
2. 内存模型
3. spin lock

一、 原子变量
Atomic,即原子变量,是可以跨线程共享的变量。在下面这个例子中,有一个全局变量sExit,线程1中进行循环,只要sExit为true则退出。线程2对是sExit进行操作,用于控制线程1的退出。在这个例子中,可能发生一种情形,虽然线程2执行了,但线程1仍然有可能不退出。对线程1来说,sExit看起来访问的是一个变量,但对CPU和编译器来说,可能会把它放到cache甚至寄存器中。因此,当线程2写内存时,线程1中仍不会发生改变。另一方面,也有可能线程2在写sExit,写到了寄存器或者cache中时,线程1也会无法退出。
  b9a387d322bb893ae03b1bfd409b074658441564
如果sExit加上关键字volatile,则线程1能退出,但理论上这段代码是有问题的。volatile的本意是用来访问外部设备,而非用于线程同步。以前的计算机中,一般访问外部设备的接口会全部映射到一块内存地址中,访问这块地址时就相当于访问外部设备。现在的驱动程序还是可以这样做。而一般应用层的程序是不可以这样操作的。对于线程同步问题来说,volatile能保证访存,因此这个程序能正常运行。但volatile不保证原子性,也不对指令乱序加以限制。由于bool型只有一个字节,没有比其更细的粒度,因此在这个场景下原子性不会有问题。而指令乱序问题,由于案例代码不完整,所以无法得知。
  b26d8ca5a6509bd150958b538b6002ce404d91c8
那么,在什么情况下会出现问题呢?如下面这个例子。由于不知道线程1和线程2哪个会先运行,所以线程1的x有多种可能的值。{1,2}或{3,4}是比较好理解的。但也有可能出现{3,2},由于线程2在赋值时,实际的赋值指令为两条,当线程2中的a完成赋值后,先执行了线程1。同时,{1,4}也是一种可能的情况。这是由于,线程2运行时,两条赋值指令操作的内存单元是不一样的,是允许乱序执行的,即先执行b的赋值操作。那么就会出现{1,4}这样的结果。
  0c27d0ff77c15e6b2e05d816739a30d7e655ad2d
如果将volatile改为atomic,就只会出现{1,2}或{3,4}这样的结果。
  be0cf1eb6ab17c93320719aae112c276dba3e384
前文中讲解过mutex和各类锁操作,那么如果这里利用mutex进行互斥,在临界区中进行赋值和读值,是否就可以不用atomic了呢?从程序的逻辑上看,是对的。通过这两种方式都可以使程序达到相同的执行流。但这两种方法存在区别,使用mutex可能会陷入操作系统内核,将当前的线程挂入操作系统内核中的调度器的working队列中,而atomic是纯粹用CPU提供的硬件指令完成的,与操作系统无关。现代的mutex,比如高版本gcc提供的mutex,已经高度优化了,在无竞争的情况下,性能和atomic一样,事实上它也是利用atomic实现的。但在有激烈竞争的情况下,mutex会陷入内核,一次内核调用大约在百纳秒的量级上。而使用atomic利用CPU硬件指令只需几纳秒。但atomic会霸占CPU,如果需要霸占CPU的线程很多,就会导致程序整体性能的下降。

二、 内存模型
内存模型是和原子变量搭配使用的。这里介绍三种内存模型。
1、 最终一致性
第一种是最终一致性。如下面这个例子。
  4c12943b4fbb74a176f77ff764e170d402fdf439
定义了一个int型的原子变量cnt,线程不断进行加法操作。当所有线程结束时打印cnt的值。在这个例子中,只要保证最终的加法结果正确即可,可以不关心执行顺序。因此就可以使用“最终一致性“内存模型——relaxed。这里,relaxed保证了原子变量的一致性,也保证了任何一个线程对原子变量的改变最终一定会被其他线程看到。但它有两点无法保证 :第一,不保证一个线程对原子变量的改变,会以相同的顺序被其他线程看到。(比如,先改a,再改b,其他线程看到的顺序可能是先b后a。)第二,不保证一个线程对原子变量的改变,和其他访存操作,会以相同的顺序被其他线程看到。最终一致性是最弱的一种一致性条件。

2、 顺序一致性
下面介绍一种最强的一致性条件,顺序一致性。在下面这个例子中,使用任何更弱一些的一致性模型都是无法得到正确结果的。
  1c5ac4e72a80beeaea5f9d260d5eef12866b33da
在这个例子中,定义了三个原子变量。其中x, y是初值为false的布尔型变量。线程1,2将这两个变量置成true。线程3,4是对偶的。线程3,如果x为true则退出循环,此时,如果y是true,就进行++z。线程4,如果y为true则退出循环,此时,如果x是true,就进行++z。在顺序一致性模型中,可以保证最终z是大于0的。这是由于,线程1和线程2的访存一定是有先后的。假设线程1先做,线程2后做,那么在线程4中,当y为true时,x一定是true,一定会执行++z。反之,线程3一定会执行++z.。顺序一致性还保证了一个线程内有一个顺序一致性的原子变量访存,就能保证其他非原子的访存操作,既不能乱序到原子变量前,也不能把前面的指令跨过原子变量往后重排。顺序一致性是锁内存总线的,并且强制各个CPU同步cache。它的性能较差,但安全性比较有保障。

3、 release-acquire
第三种内存模型release-acquire。以下面这段代码为例。
  82fd8a806298b1fbecaa435038d9d875a2058143
有原子变量ptr,有普通变量data。线程1中有局部变量指针p,保存到ptr中,在此之前将data赋值为42。线程2中,不断从ptr中加载指针,一旦指针不是NULL,那么一定能看到data==42。这是因为如果能读到同一个原子变量的写存,也一定能读到在其之前的访存,包括之前的原子访存和普通访存。这就是release-acquire模型。线程3是使用了relaxed内存模型的情况。最终输出的data可能不为42。

release-acquire这个名称怎么来的呢?没错,互斥锁。acquire代表获得锁,release代表释放锁。下面展示了一种互斥锁的实现。
  f7dd77eb8360ffab4dddbf358bc70952afa0b42a
定义了一个原子变量mtx。抢锁时将true原子地赋给mtx。exchange函数会在把变量当前的值返回的同时,将 新设的值写入变量。如果返回的值是false则说明当前无人持有锁。如果是true就说明当前有人持有锁 ,无法进临界区,此时需要进行循环等待。出临界区的时候只需要将mtx赋为false。

下面简单介绍一下现代CPU的架构(如下图),以便让大家更好的理解release-require为何是一个高效的内存模型。
  5102a476cdffd5cdbadb7f3f9f46f3e412608a86
大家知道CPU的运算速度很快,而相对而言访问一次内存的速度要差一个数量级。因此,CPU一般不直接向内存要计算数,而是向L1 cache要。同时,CPU通常是多核的,这也就意味着,当计算单元完成运算写入L1 cache时,L1 cache 需要将结果通知给其他内核,并写入内存。因此,CPU写入cache时也比较慢,因此会先写入store buffer中,然后从store buffer写入L1 cache,再由L1 cache通知其他内核。这一过程也相对较慢,所以内核也并不马上做,而是把其他内核发送过来的更新通知放进一个队列里,即invalidate queue。当store buffer为空时表示其他内核都已经知道了自己写入的内容。这一过程就是release,即等待其他CPU都知道当前内核写的内容。而acquire就是等待invalidate queue队列为空的过程,意味着当前CPU知道了其他CPU的所有写操作。release-acquire是一个与当前CPU设计非常相符的,因此,它非常高效。

三、 spin lock
最后,介绍spin lock案例。
1、 TAS
第一个实现是Test-and-Set,即TAS。通过原子地对变量赋值,并返回老值进行上锁。通过将false写入,进行放锁。逻辑上看,这段代码没有问题,但实际上它是不可用的,一旦出现争抢会使程序运行非常缓慢,并且CPU负载很高。
  4ead99aebb69451e72c351ab488a1f41c773955c


2、TTAS
下面对TAS进行了改进,Test-Test-and-Set,即TTAS。
  3b78cf1edc37249efd05585c1491fac13a9bce34
在上锁时,先通过relaxed读mtx的值。一旦mtx为false,就用acquire的方式对mtx进行exchange,以保证正确性。由于relaxed是不需要清store buffer和invalidate queue的,因此它的效率相对较高。Relaxed读到的其实是一个脏值。绝大多数情况下,invalidate queue是不空的,但queue中的值不是由于mtx写造成的。因此,清理queue的过程会使得性能下降。此时,通过脏值来判断mtx是否值得去抢锁。换句话说,通过relaxed方式,减少了对mtx的争抢。因此,TTAS的性能会优于TAS。通常情况下,TTAS是可以实际使用的,但当竞争更激烈的时候,它的性能还是不够好。

3、backoff
下面介绍backoff退避锁。使用前面的方法,通过relaxed判断是否值得抢,可以一定程度上提高性能。但在这种情况下,一旦放锁发生了,其他人几乎会在同一时间进行争抢,性能还是会很差。这时,就有这样一种设想,能否将争抢的过程打散。在放锁的时候,只安排少数人去抢锁,这就是退避 。退避的原理是,如果抢不到锁,就等待一会儿。如下面这段代码所示。
  7f8c502715065d58f9e49d38d0389193b99138df
一旦尝试抢锁没有成功,就进行退避,将原limit翻倍,并在旧limit和新limit之间取一个随机数,等待随机数对应的时间,然后通过调用sleep_for,进行等待。

下面我们对退避的性能做一个估算。
假设初始limit为10ms,临界区耗时1ms,有100个线程抢锁。
正确的做法:每次limit翻倍,实际退避时间在limit/2到limit之间随机。
1.第一轮只有一个线程抢到锁,其余线程退避;
2.第二轮有5个线程抢到锁;
3.第三轮有10个线程抢到锁;
4. ……
5.最多需要6轮,最多耗时310ms

错误的做法:在limit之内取随机,然后每次对这个随机数翻倍。
1.第一轮只有一个线程抢到锁,其余线程退避;
2.第二轮有10个线程抢到锁;
3.第三轮有10个线程抢到锁;
4. ……
5.最多需要10轮,最多耗时10s+

退避锁是一中实现简单,实用的锁。在多线程和分布式系统中都有非常广泛的应用。在分布式系统中,可以认为锁的临界区就是web服务器的busy状态,例如web服务器一秒钟可以handle一万个请求,当有一万零一个请求时,就返回busy状态,可以使用退避的方式解决,让web服务器以最大的吞吐量来处理所有的请求。但在单个进程内,退避锁并不是最好的解决方案。‘

4、CLH
下面介绍CLH。它的实现稍复杂些,mtx是一个原子变量的原子变量。代码不再详细介绍了。
  e80782a8adbf60fb4834d059ce0c86edc5028241

下面通过几张图片介绍一下CLH的原理。
首先,mtx指针指向另一个布尔型的原子变量,初值为false。
  4ccf4b1cb0d5abddee65ac253eaddb6cd3420f54

这时,线程1要抢锁,它先new一个布尔型的原子变量,值为true。
  28776bac79e2bfc9aa665678e9f283ec25fc03f5

然后将两个指针交换,线程1发现mtx原来的指针指向的是false,就抢到了锁。
edb3fab2f2eff408792e87497ec3ce6307cde5ca 

这时,出现了线程2要抢锁。它先new一个布尔型的原子变量,值为true。
2189eea989b01e47370282cc51413fbac624e2a6

 
然后和mtx交换指针,线程2发现mtx原来的指针指向的是true,说明有线程占着锁。
  fc839caad5ff0fc64f992af5e20cefd789c0febc

线程1完成工作,放锁,直接将蓝色的原子变量改为false。 为什么线程1可以直接修改蓝色的原子变量呢?因为这个变量原本就是他分配出来的,它知道地址。这时,线程2看到了false,即抢到了锁。
  b916050f4df51eceeacc75d11dfaae5a4b8ccf98

CLH锁本质上是一个队列。让同时抢锁的线程排队,并由前一个通知后一个,减少了争抢,同时避免了sleep造成的无效的等待。

最后,总结一下本次分享的主要内容。
  587e1fef9fbed00ff5a87af1f4db9c5037a6049c

本文由云栖志愿小组马JY整理,编辑百见

相关文章
|
7月前
|
存储 缓存 Java
JVM还没学明白,又来了JMM!
JVM还没学明白,又来了JMM!
69 0
|
7月前
|
存储 安全 Java
一文带你读懂深入理解Java内存模型
java内存模型(Java Memory Model,JMM)是java虚拟机规范定义的,用来屏蔽掉java程序在各种不同的硬件和操作系统对内存的访问的差异,这样就可以实现java程序在各种不同的平台上都能达到内存访问的一致性。可以避免像c++等直接使用物理硬件和操作系统的内存模型在不同操作系统和硬件平台下表现不同,比如有些c/c++程序可能在windows平台运行正常,而在linux平台却运行有问题。 物理硬件和内存
43 1
|
5月前
|
存储 缓存 Java
(一) 玩命死磕Java内存模型(JMM)与 Volatile关键字底层原理
文章的阐述思路为:先阐述`JVM`内存模型、硬件与`OS`(操作系统)内存区域架构、`Java`多线程原理以及`Java`内存模型`JMM`之间的关联关系后,再对`Java`内存模型进行进一步剖析,毕竟许多小伙伴很容易将`Java`内存模型(`JMM`)和`JVM`内存模型的概念相互混淆,本文的目的就是帮助各位彻底理解`JMM`内存模型。
121 0
|
5月前
|
调度 C语言
深入浅出:C语言线程以及线程锁
线程锁的基本思想是,只有一个线程能持有锁,其他试图获取锁的线程将被阻塞,直到锁被释放。这样,锁就确保了在任何时刻,只有一个线程能够访问临界区(即需要保护的代码段或数据),从而保证了数据的完整性和一致性。 线程是操作系统能够进行运算调度的最小单位,它被包含在进程之中,是进程中的实际运作单位。一个进程可以包含一个或多个线程,而每个线程都有自己的指令指针和寄存器状态,它们共享进程的资源,如内存空间、文件句柄和网络连接等。 线程锁的概念
211 1
|
7月前
|
消息中间件 安全 算法
通透!从头到脚讲明白线程锁
线程锁在分布式应用中是重中之重,当谈论线程锁时,通常指的是在多线程编程中使用的同步机制,它可以确保在同一时刻只有一个线程能够访问共享资源,从而避免竞争条件和数据不一致性问题。
311 0
|
7月前
|
存储 安全 Java
这些年背过的面试题——多线程篇
本文是技术人面试系列多线程篇,面试中关于多线程都需要了解哪些基础?一文带你详细了解,欢迎收藏!
|
安全 Linux 程序员
「技术干货」一文搞懂C语言内存模型与栈
「技术干货」一文搞懂C语言内存模型与栈
|
存储 缓存 Java
看完这篇,还不懂JAVA内存模型(JMM)算我输
看完这篇,还不懂JAVA内存模型(JMM)算我输
156 0
看完这篇,还不懂JAVA内存模型(JMM)算我输
|
SQL 缓存 算法
学了 JMM 指令重排序,让我明白该如何写单例模式了
JMM 是 Java Memory Model 的缩写, Java 内存模型来屏蔽各种硬件和操作系统的内存访问差异,以实现让 Java 程序在各种平台下能够达到一致的内存访问效果。
176 0
学了 JMM 指令重排序,让我明白该如何写单例模式了
|
存储 缓存 Java
面试官:我问的是Java内存模型,你回答堆栈方法区干嘛?
很多人会把Java内存区域(运行时数据区)和Java内存模型(JMM)搞混,这两者是完全不一样的东西。 Java内存区域是指JVM运行时数据分区域存储,而Java内存模型是定义了线程和主内存之间的抽象关系,了解Java内存模型是学好Java并发编程的基础。