17-垃圾回收器(四)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 17-垃圾回收器(四)

G1 回收可选的过程四:Full GC


  1. G1的初衷就是要避免Full GC的出现。但是如果上述方式不能正常工作,G1会停止应用程序的执行(Stop-The-World),使用单线程的内存回收算法进行垃圾回收,性能会非常差,应用程序停顿时间会很长。
  2. 要避免Full GC的发生,一旦发生Full GC,需要对JVM参数进行调整。什么时候会发生Ful1GC呢?比如堆内存太小,当G1在复制存活对象的时候没有空的内存分段可用,则会回退到Full GC,这种情况可以通过增大内存解决。


导致G1 Full GC的原因可能有两个:


  1. Evacuation的时候没有足够的to-space来存放晋升的对象;
  2. 并发处理过程完成之前空间耗尽。


G1补充


从Oracle官方透露出来的信息可获知,回收阶段(Evacuation)其实本也有想过设计成与用户程序一起并发执行,但这件事情做起来比较复杂,考虑到G1只是回一部分Region,停顿时间是用户可控制的,所以并不迫切去实现,而选择把这个特性放到了G1之后出现的低延迟垃圾收集器(即ZGC)中。另外,还考虑到G1不是仅仅面向低延迟,停顿用户线程能够最大幅度提高垃圾收集效率,为了保证吞吐量所以才选择了完全暂停用户线程的实现方案。


G1 回收器的优化建议


  1. 年轻代大小
  • 避免使用-Xmn或-XX:NewRatio等相关选项显式设置年轻代大小,因为固定年轻代的大小会覆盖可预测的暂停时间目标。我们让G1自己去调整
  1. 暂停时间目标不要太过严苛
  • G1 GC的吞吐量目标是90%的应用程序时间和10%的垃圾回收时间
  • 评估G1 GC的吞吐量时,暂停时间目标不要太严苛。目标太过严苛表示你愿意承受更多的垃圾回收开销,而这些会直接影响到吞吐量。


8-垃圾回收器总结


截止JDK1.8,一共有7款不同的垃圾收集器。每一款的垃圾收集器都有不同的特点,在具体使用的时候,需要根据具体的情况选用不同的垃圾收集器。


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


JDK7中所有的连线都能使用


JDK8中红线废弃,但是能使用


JDK9中红线彻底不能使用


JDK14移出CMS


JDK14k绿线标记作废


怎么选择垃圾回收器


Java垃圾收集器的配置对于JVM优化来说是一个很重要的选择,选择合适的垃圾收集器可以让JVM的性能有一个很大的提升。


怎么选择垃圾收集器?


  1. 优先调整堆的大小让JVM自适应完成。
  2. 如果内存小于100M,使用串行收集器
  3. 如果是单核、单机程序,并且没有停顿时间的要求,串行收集器
  4. 如果是多CPU、需要高吞吐量、允许停顿时间超过1秒,选择并行或者JVM自己选择
  5. 如果是多CPU、追求低停顿时间,需快速响应(比如延迟不能超过1秒,如互联网应用),使用并发收集器
  6. 官方推荐G1,性能高。现在互联网的项目,基本都是使用G1。


最后需要明确一个观点:


  1. 没有最好的收集器,更没有万能的收集算法
  2. 调优永远是针对特定场景、特定需求,不存在一劳永逸的收集器


面试


  1. 对于垃圾收集,面试官可以循序渐进从理论、实践各种角度深入,也未必是要求面试者什么都懂。但如果你懂得原理,一定会成为面试中的加分项。
  2. 这里较通用、基础性的部分如下:
  • 垃圾收集的算法有哪些?如何判断一个对象是否可以回收?
  • 垃圾收集器工作的基本流程。
  1. 另外,大家需要多关注垃圾回收器这一章的各种常用的参数


9-GC 日志分析


常用参数配置


GC 日志参数设置


通过阅读GC日志,我们可以了解Java虚拟机内存分配与回收策略。


内存分配与垃圾回收的参数列表


  1. -XX:+PrintGC :输出GC日志。类似:-verbose:gc
  2. -XX:+PrintGCDetails :输出GC的详细日志
  3. -XX:+PrintGCTimestamps :输出GC的时间戳(以基准时间的形式)
  4. -XX:+PrintGCDatestamps :输出GC的时间戳(以日期的形式,如2013-05-04T21: 53: 59.234 +0800)
  5. -XX:+PrintHeapAtGC :在进行GC的前后打印出堆的信息
  6. -Xloggc:…/logs/gc.log :日志文件的输出路径


-verbose:gc


  1. 打开GC日志:


-verbose:gc


  1. 这个只会显示总的GC堆的变化,如下:


网络异常,图片无法展示
|


  1. 参数解析:


网络异常,图片无法展示
|


-XX:+PrintGCDetails


1、JVM 参数


-XX:+PrintGCDetails


2、输入信息如下


网络异常,图片无法展示
|


3、参数解析


网络异常,图片无法展示
|


-XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps


1、JVM 参数


-XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps


2、输出信息如下


网络异常,图片无法展示
|


3、说明:日志带上了日期和时间


GC 日志补充说明


  1. “[GC"和”[Full GC"说明了这次垃圾收集的停顿类型,如果有"Full"则说明GC发生了"Stop The World"
  2. 使用Serial收集器在新生代的名字是Default New Generation,因此显示的是"[DefNew"
  3. 使用ParNew收集器在新生代的名字会变成"[ParNew",意思是"Parallel New Generation"
  4. 使用Parallel scavenge收集器在新生代的名字是”[PSYoungGen"
  5. 老年代的收集和新生代道理一样,名字也是收集器决定的
  6. 使用G1收集器的话,会显示为"garbage-first heap"
  7. Allocation Failure表明本次引起GC的原因是因为在年轻代中没有足够的空间能够存储新的数据了。
  8. [ PSYoungGen: 5986K->696K(8704K) ] 5986K->704K (9216K)
  • 中括号内:GC回收前年轻代大小,回收后大小,(年轻代总大小)
  • 括号外:GC回收前年轻代和老年代大小,回收后大小,(年轻代和老年代总大小)
  1. user代表用户态回收耗时,sys内核态回收耗时,real实际耗时。由于多核线程切换的原因,时间总和可能会超过real时间



网络异常,图片无法展示
|


网络异常,图片无法展示
|
Young GC


网络异常,图片无法展示
|

/**
 * -Xms20M -Xmx20m -Xmn10M -XX:+PrintGCDetails -XX:SurvivorRatio=8 -XX:+UseSerialGC
 * -Xmn10M 指明新生代大小10m
 */
public class GCLogTest1 {
  public static final int _1MB = 1024 * 1024;
  public static void main(String[] args) {
    testAllocation();
  }
  public static void testAllocation() {
    byte[] allocation1,allocation2,allocation3,allocation4;
    allocation1 = new byte[2 * _1MB];
    allocation2 = new byte[2 * _1MB];
    allocation3 = new byte[2 * _1MB];
    allocation4 = new byte[4 * _1MB];
  }
}

网络异常,图片无法展示
|


常用日志分析工具


保存日志文件


JVM参数-XLoggc:./logs/gc.log, ./ 表示当前目录,在 IDEA中程序运行的当前目录是工程的根目录,而不是模块的根目录


可以用一些工具去分析这些GC日志,常用的日志分析工具有:


GCViewer、GCEasy、GCHisto、GCLogViewer、Hpjmeter、garbagecat等


推荐:GCeasy


在线分析网址:gceasy.io


10-垃圾回收器的新发展


垃圾回收器的发展过程


  1. GC仍然处于飞速发展之中,目前的默认选项G1 GC在不断的进行改进,很多我们原来认为的缺点,例如串行的Full GC、Card Table扫描的低效等,都已经被大幅改进,例如,JDK10以后,Fu11GC已经是并行运行,在很多场景下,其表现还略优于ParallelGC的并行Ful1GC实现。
  2. 即使是SerialGC,虽然比较古老,但是简单的设计和实现未必就是过时的,它本身的开销,不管是GC相关数据结构的开销,还是线程的开销,都是非常小的,所以随着云计算的兴起,在serverless等新的应用场景下,Serial Gc找到了新的舞台。
  3. 比较不幸的是CMSGC,因为其算法的理论缺陷等原因,虽然现在还有非常大的用户群体,但在JDK9中已经被标记为废弃,并在JDK14版本中移除
  4. 现在G1回收器已成为默认回收器好几年了。
  5. 我们还看到了引入了两个新的收集器:ZGC(JDK11出现)和Shenandoah(Open JDK12),其特点:主打低停顿时间


JDK11新特性

网络异常,图片无法展示
|


Shenandoah GC


Open JDK12的Shenandoash GC:低停顿时间的GC(实验性)


  1. Shenandoah无疑是众多GC中最孤独的一个。是第一款不由Oracle公司团队领导开发的Hotspot垃圾收集器。不可避免的受到官方的排挤。比如号称openJDK和OracleJDK没有区别的Oracle公司仍拒绝在OracleJDK12中支持Shenandoah。
  2. Shenandoah垃圾回收器最初由RedHat进行的一项垃圾收集器研究项目Pauseless GC的实现,旨在针对JVM上的内存回收实现低停顿的需求。在2014年贡献给OpenJDK。
  3. Red Hat研发Shenandoah团队对外宣称,Shenandoah垃圾回收器的暂停时间与堆大小无关,这意味着无论将堆设置为200MB还是200GB,99.9%的目标都可以把垃圾收集的停顿时间限制在十毫秒以内。不过实际使用性能将取决于实际工作堆的大小和工作负载。


这是RedHat在2016年发表的论文数据,测试内容是使用ES对200GB的维基百科数据进行索引。从结果看:


  1. 停顿时间比其他几款收集器确实有了质的飞跃,但也未实现最大停顿时间控制在十毫秒以内的目标。
  2. 而吞吐量方面出现了明显的下降,总运行时间是所有测试收集器里最长的。


网络异常,图片无法展示
|


这是RedHat在2016年发表的论文数据,测试内容是使用ES对200GB的维基百科数据进行索引。从结果看:


  • 停顿时间比其他几款收集器确实有了质的飞跃,但也未实现最大停顿时间控制在十毫秒以内的目标。
  • 而吞吐量方面出现了明显的下降,总运行时间是所有测试收集器里最长的。


令人震惊、革命性的 ZGC


官方文档:https://docs.oracle.com/en/java/javase/12/gctuning/


  • ZGC与Shenandoah目标高度相似,在尽可能对吞吐量影响不大的前提下,实现在任意堆内存大小下都可以把垃圾收集的停颇时间限制在十毫秒以内的低延迟。
  • 《深入理解Java虚拟机》一书中这样定义ZGC:ZGC收集器是一款基于Region内存布局的,(暂时)不设分代的,使用了读屏障、染色指针和内存多重映射等技术来实现可并发的标记-压缩算法的,以低延迟为首要目标的一款垃圾收集器。
  • ZGC的工作过程可以分为4个阶段:并发标记 - 并发预备重分配 - 并发重分配 - 并发重映射 等。
  • ZGC几乎在所有地方并发执行的,除了初始标记的是STW的。所以停顿时间几乎就耗费在初始标记上,这部分的实际时间是非常少的。


吞吐量


网络异常,图片无法展示
|


max-JOPS:以低延迟为首要前提下的数据


critical-JOPS:不考虑低延迟下的数据


低延迟




在ZGC的强项停顿时间测试上,它毫不留情的将Parallel、G1拉开了两个数量级的差距。无论平均停顿、95%停顿、998停顿、99. 98停顿,还是最大停顿时间,ZGC都能毫不费劲控制在10毫秒以内。


虽然ZGC还在试验状态,没有完成所有特性,但此时性能已经相当亮眼,用“令人震惊、革命性”来形容,不为过。未来将在服务端、大内存、低延迟应用的首选垃圾收集器。


  1. JDK14之前,ZGC仅Linux才支持。
  2. 尽管许多使用ZGC的用户都使用类Linux的环境,但在Windows和macOS上,人们也需要ZGC进行开发部署和测试。许多桌面应用也可以从ZGC中受益。因此,ZGC特性被移植到了Windows和macOS上。
  3. 现在mac或Windows上也能使用ZGC了,示例如下:
    -XX:+UnlockExperimentalVMOptions-XX:+UseZGC


面向大堆的 AliGC


AliGC是阿里巴巴JVM团队基于G1算法,面向大堆(LargeHeap)应用场景。指定场景下的对比:


网络异常,图片无法展示
|


网络异常,图片无法展示
|

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
4月前
|
算法 Java
G1垃圾回收器
G1垃圾回收器
|
5月前
|
存储 算法 Java
JVM 垃圾回收算法与垃圾回收器
JVM 垃圾回收算法与垃圾回收器
51 3
|
6月前
|
算法 Oracle Java
垃圾收集器
复制算法和标记算法都是基于分代收集理论来的。
44 0
|
算法 Java 程序员
【垃圾回收器】
【垃圾回收器】
|
算法 安全 Java
深入剖析垃圾收集器之后,我发现里面没有扫帚
深入剖析垃圾收集器之后,我发现里面没有扫帚
127 0
深入剖析垃圾收集器之后,我发现里面没有扫帚
|
存储 前端开发 算法
V8 如何进行垃圾回收?
V8 如何进行垃圾回收?
103 0
|
存储 算法 Oracle
17-垃圾回收器(三)
17-垃圾回收器(三)
89 0
|
算法 Java API
17-垃圾回收器(一)
17-垃圾回收器(一)
165 0
|
算法 Java UED
17-垃圾回收器(二)
17-垃圾回收器(二)
105 0
|
消息中间件 存储 算法
G1垃圾收集器
G1垃圾收集器
1091 0
G1垃圾收集器