阅读 273

读书笔记——Java虚拟机垃圾收集器与内存分配策略

本文章已授权微信公众号郭霖(guolin_blog)转载。

本文章讲解的内容是Java虚拟机垃圾收集器与内存分配策略

概述

说起垃圾收集(Garbage Collection),也就是GC,大部分人都把这项技术当做Java语言伴生产物。事实上,GC的历史比Java久远,1960年诞生于MITLisp第一门真正使用内存动态分配垃圾收集技术语言。当Lisp还在胚胎时期时,人们就在思考GC需要完成的三件事情

  • 哪些内存需要回收?
  • 什么时候回收?
  • 如何回收?

经过本个多世纪的发展,目前内存动态分配内存回收技术已经相当成熟,一切看起来都进入了自动化时代,那为什么我们还要了解GC内存分配呢?答案很简单:当需要排查各种内存溢出内存溢出问题时,当垃圾收集成为系统达到更高并发量的瓶颈时,我们就需要对这些自动化技术实施必要的监控调节

把时间从半个世纪以前拨回到现在,回到我们熟悉的Java语言Java内存运行时区域中的程序计数器Java虚拟机栈本地方法栈随线程而生随线程而灭中的栈帧随着方法进入退出而有条不絮地执行着入栈出栈操作。每一个栈帧中分配多少内存基本上是在类结构确定下来时就已知的(尽管在运行期会由JIT编译器进行一些优化,但在本文章基于概念模型的讨论中,大体上可以认为是编译器可知的),因此这几个区域内存分配内存回收都具备确定性,在这几个区域内就不需要过多考虑回收的问题,因为方法结束或者线程结束时,内存自然就跟着回收了。而Java堆方法区不一样一个接口中的多个实现类需要的内存可能不一样一个方法中的多个分支需要的内存也可能不一样,我们只有在程序处于运行期间时才能知道会创建哪些对象,这部分内存分配回收都是动态的,垃圾收集器所关注的是这部分内存,下面讨论的内存分配内存回收也仅指这一部分内存

对象已死吗?

里面存放着Java世界中几乎所有对象实例垃圾收集器在对进行回收前,第一件事情就是要确定这些对象之中哪些还存活着,哪些已经死去(即不可能再被任何途径使用的对象)

引用计数算法

引用计数算法(Reference Counting)概述给对象添加一个引用计数器每当有一个地方引用它时计数器值就加一当引用失效时计数器值就减一任何时刻计数器为零的对象就是不可能再被使用的

客观地说,引用计数算法实现简单判定效率也很高在大部分情况下它都是一个不错的算法,也有一些比较著名应用案例,例如:微软公司COM(Component Object Model)技术、使用ActionScript 3FlashPlayerPython语言在游戏脚本领域被广泛应用的Squirrel。但是,至少主流的Java虚拟机里面没有选用引用计数算法管理内存,其中最主要的原因它很难解决对象之间相互循环引用的问题,举个例子:对象A和对象B互相持有对方的引用除此之外这两个对象再无任何引用实际上这两个对象已经不可能再被访问但是它们因为互相引用着对方导致它们的引用计数都不为零于是引用计数算法无法通知GC收集器回收它们

可达性分析算法

在主流的商用程序语言(Java、C#、甚至包括前面提到的古老的Lisp)的主流实现中,都是称通过可达性分析(Reachability Analysis)判定对象是否存活的。这个算法基本思路就是通过一系列的称为GC Roots对象作为起始点,从这些节点开始向下搜索搜索所走过的路径称为引用链(Reference Chain),当一个对象GC Root没有任何引用链相连(用图论的话来说,就是从GC Roots到这个对象不可达)时,则证明此对象不可用的,如下图所示:

TheAccessibilityAnalysisAlgorithmDeterminesWhetherAnObjectIsRecyclable.jpg

对象object 5对象object 6对象object 7虽然互相有关联,但是它们到GC Roots不可达的,所以它们将会被判定为是可回收的对象

Java语言中,可作为GC Roots对象包括下面几种:

  • Java虚拟机栈(栈帧中的局部变量表)中引用的对象
  • 方法区中类静态属性引用的对象
  • 方法区中常量引用的对象
  • 本地方法栈中JNI(即一般说的Native方法)引用的对象

再谈引用

无论是通过引用计数算法判断对象的引用数量,还是通过可达性分析算法判断对象引用链是否可达,判定对象是否存活都与引用有关。在JDK 1.2以前,Java中的引用定义很传统:如果reference类型的数据中存储的数值代表的是另外一块内存的起始地址,就称这块内存代表着一个引用。这种定义很纯粹,但是太过狭隘一个对象在这种定义下只有被引用或者没有被引用两种状态,对于如何描述一些“食之无味,弃之可惜”的对象就显得无能为力。我们希望能描述这样一类对象当内存空间还足够时则能保留在内存之中如果内存空间在进行垃圾收集后还是非常紧张则可以抛弃这些对象。很多系统缓存功能符合这样的应用场景。

JDK 1.2之后,Java引用的概念进行了扩充,将引用分为强引用(Strong Reference)软引用(Soft Reference)弱引用(Weak Reference)、**虚引用(Phantom Reference)**四种,这四种引用强度依次逐渐减弱

  • 强引用就是指在程序代码中普遍存在的,类似Object obj = new Object();这类的引用,只要强引用还存在,垃圾收集器永远不会回收掉被引用的对象。
  • 软引用是用来描述一些还有用但并非必需的对象。对于软引用关联着的对象,在系统将要发生内存溢出异常之前,将会把这些对象列进回收范围之中进行第二次回收。如果这次回收还没有足够的内存,才会抛出内存溢出异常。在JDK 1.2之后,提供了SoftReference类来实现软引用。
  • 弱引用也是用来描述非必需对象的,但是它的强度比软引用更弱一些,被弱引用关联的对象只能生存到下一次垃圾收集发生之前。当垃圾收集器工作时,无论当前内存是否足够,都会回收掉只被弱引用关联的对象。在JDK 1.2之后,提供了WeakReference类来实现弱引用。
  • 虚引用也被称为幽灵引用或者幻影引用,它是最弱的一种引用关系。一个对象是否有虚引用的存在,完全不会对其生存时间构成影响,也无法通过虚引用来取得一个对象实例。为一个对象设置虚引用关联的唯一目的就是能在这个对象被收集器回收时收到一个系统通知。在JDK 1.2之后,提供了PhantomReference类来实现虚引用。

生存还是死亡

即使在可达性分析算法不可达的对象,也并非是非死不可的,这时候它们暂时处于缓刑阶段,要真正宣告一个对象死亡,至少要经历两次标记过程:如果对象在进行可达性分析后发现没有与GC Roots相连接的引用链,那它将会被第一次标记并且进行一次筛选筛选的条件是此对象是否有必要执行finalize()方法。当对象没有覆盖finalize()方法,或者finalize()方法已经被虚拟机调用过,虚拟机两种情况都视为没有必要执行

如果这个对象被判定为有必要执行finalize()方法,那么这个对象将会放置在一个叫做F-Queue队列之中,并在稍后由一个由虚拟机自动建立的低优先级的Finalizer线程去执行它。这里所谓的执行是指虚拟机会触发这个方法,但并不承诺会等待它运行结束,这样做的原因是,如果一个对象finalize()方法中执行缓慢,或者发生了死循环(更极端的情况),将很有可能会导致F-Queue队列中其他对象永久处于等待,甚至导致整个内存回收系统崩溃finalize()方法是对象逃脱死亡命运的最后一次机会,稍后GC将对F-Queue中的对象进行第二次小规模的标记,如果对象要在finalize()成功拯救自己——只要重新与引用链上的任何一个对象简历关联即可,譬如把自己(this关键字)赋值给某个类变量或者对象的成员变量,那在第二次标记时它将被移除即将回收集合;如果对象这时候还没有逃脱,那基本上它就真的被回收了。

要注意的是,建议大家尽量避免使用它,因为它不是C/C++中的析构函数,而是Java刚诞生时为了使C/C++程序员更容易接受它所做出的一个妥协。它的运行代价高昂不确定性大无法保证各个对象的调用顺序。有些教材中描述它适合做关闭外部资源之类的工作,这完全是对这个方法用途的一种自我安慰finalize()方法所做的所有工作,使用try-finally或者其他方式都可以做得更好更及时,所以建议大家完全可以忘掉Java语言中有这方法的存在

回收方法区

很多人认为方法区(或者HotSpot虚拟机中的永久代)没有垃圾收集的,Java虚拟机规范中确实说过可以不要求虚拟机在方法区实现垃圾收集,而且在方法区中进行垃圾收集性价比一般比较低:在中,尤其是在新生代中,常规应用进行一次垃圾收集一般可以回收70%~95%的空间,而永久代的垃圾收集效率远低于此

永久代垃圾收集主要回收两部分内容废弃常量无用的类回收废弃常量与回收Java堆中的对象非常类似。以常量池字面量回收为例,假如一个字符串abc已经进入了常量池中,但是当前系统没有任何一个String对象是叫做abc的,换句话说,就是没有任何String对象引用常量池中的abc常量,也没有其他地方引用了这个字面量,如果这时发生内存回收,而且必要的话,这个abc常量就会被系统清理出常量池常量池中的其他类(接口)方法字段的符号引用也与此类似。

判定一个常量是否是废弃常量比较简单,而要判定一个是否是无用的类的条件则相对苛刻许多需要同时满足下面三个条件才能算是无用的类

  • 该类所有的实例都已经被回收,也就是Java堆中不存在该类的任何实例。
  • 加载该类的ClassLoader已经被回收。
  • 该类对应的Java.lang.Class对象没有在任何地方被引用,无法在任何地方通过反射访问该类的方法。

虚拟机可以对满足上述三个条件无用类进行回收,这里说的仅仅是可以,而并不是和对象一样,不使用了就必然会回收。是否对进行回收HotSpot虚拟机提供了**-Xnoclassgc参数进行控制,还可以使用-verbose:class-XX:+TraceClassLoading可以在Product版的虚拟机中使用,-XX:+TraceClassUnLoading参数需要FastDebug版的虚拟机**支持。

在大量使用反射动态代理CGLibByteCode框架、动态生成JSP以及OSGi这类频繁自定义ClassLoader的场景都需要虚拟机具备类卸载的功能,以保证永久代不会溢出

垃圾收集算法

由于垃圾收集算法的实现涉及大量的程序细节,而且各个平台的虚拟机操作内存的方法又各不相同,因此本文章不打算过多地讨论算法的实现,只是介绍几种算法思想及其发展过程

标记-清除算法

最基础收集算法标记-清除(Mark-Sweep)算法,如同它的名字一样算法分为标记清除两个阶段:首先标记出所有需要回收的对象在标记完成后统一回收所有被标记的对象,它的标记过程其实在前面讲述对象标记判定时已经介绍过了。之所以说它是最基础收集算法,是因为后续的收集算法都是基于这种思路并对其不足进行改进而得到的。它的主要不足两个

  • 效率问题标记清除两个过程的效率不高
  • 空间问题标记清除之后会产生大量不连续内存碎片空间碎片太多可能会导致以后在程序运行过程中需要分配较大对象时,无法找到足够的连续内存而不得不提前触发另一次垃圾收集动作

标记-清除算法的执行过程如下图所示:

SchematicDiagramOfMarkClearAlgorithm.jpg

复制算法

为了解决效率问题,一种称为复制(Copying)收集算法出现了,它将可用内存容量划分为大小相等两块每次只使用其中的一块。当这一块的内存用完了,就将还存活着对象复制到另外一块上面,然后再把已使用过的内存空间一次清理掉。这样使得每次都是对整个半区进行内存回收内存分配时也就不用考虑内存碎片等复杂情况,只要移动堆顶指针按顺序分配内存即可,实现简单,运行高效,只是这种算法代价将内存缩小为了原来的一半未免太高了一点

复制算法的执行过程如下图所示:

SchematicDiagramOfReplicationAlgorithm.jpg

现在的商业虚拟机都采用这种收集算法回收新生代IBM公司的专门研究表明,新生代中的对象98%是朝生夕死的,所以并不需要按照一比一的比例来划分内存空间,而是将内存分为一块较大的Eden空间两块较小的Survivor空间,每次使用Eden其中一块Survivor。当回收时,将EdenSurvivor中还存活着对象一次性地复制另外一块Survivor空间上,最后清理Eden刚才用过的Survivor空间HotSpot虚拟机默认Eden和Survivor的大小比例是八比一,也就是每次新生代中的可用内存空间为整个新生代容量的90%(80%+10%),只有10%内存被消费。当然,98%的对象可回收只是一般场景下的数据,我们没有办法保证每次回收都只有不多于10%的对象存活,当Suvivor空间不够用时,需要依赖其他内存(这里指老年代)进行分配担保(Handle Promotion)

内存的分配担保就好比我们去银行借款,如果我们信誉很好,在98%的情况下都能按时偿还,于是银行可能会默认我们下一次也能按时按量地偿还贷款,只需要有一个担保人能保证如果我不能还款时,可以从他的账户扣钱,那银行就认为没有风险了。内存的分配担保也一样,如果另外一块Survivor空间没有足够空间存放上一次新生代收集下来的存活对象时,这些对象将直接通过分配担保机制进入老年代

标记-整理算法

复制收集算法对象存活率较高时就要进行较多的复制操作效率将会变低。更关键的是,如果不想浪费50%的空间,就需要有额外的空间进行分配担保以应对被使用的内存中所有对象都100%存活的极端情况,所以在老年代一般不直接选用这种算法

根据老年代的特点,有人提出了另外一种标记-整理(Mark-Compact)算法标记过程仍然与标记-清除算法一样但后续步骤不是直接对可回收对象进行清理而是让所有存活的对象都向一端移动然后直接清理掉端边界以外的内存

标记-整理算法的执行过程如下图所示:

SchematicDiagramOfMarkCollationAlgorithm.jpg

分代收集算法

当前商业虚拟机垃圾收集都采用分代收集(Generational Collection)算法,这种算法并没有什么新的思想,只是根据对象存活周期的不同将内存划分为几块。一般是把Java堆分为新生代老年代,这样就可以根据各个年代的特点采用最适当的收集算法。在新生代中,每次垃圾收集时都发现大批对象死去只有少量存活,那就选用复制算法,只需要付出少量存活对象复制成本就可以完成收集。而老年代中因为对象存活率高没有额外空间对它进行分配担保,就必须使用标记-清理算法或者标记-整理算法来进行回收

HotSpot的算法实现

前面介绍了对象存活判定算法垃圾收集算法,而在HotSpot虚拟机上实现这些算法时,必须对算法执行效率有严格的考量,才能保证虚拟机高效运行。

枚举根节点

可达性分析中从GC Roots节点找到引用链这个操作为例,可作为GC Roots的节点主要在全局性的引用(例如:常量或类静态属性)执行上下文(例如:栈帧中的局部变量表)中,现在很多应用仅仅方法区就有数百兆,如果要逐个检查在这里面的引用,那么必然会消耗很多时间

另外,可达性分析执行时间的敏感还体现在GC停顿上,因为这项分析工作必须在一个能确保一致性快照中进行——这里一致性的意思是指在整个分析期间整个执行系统看起来就像被冻结在某个时间点上,不可以出现分析过程中对象引用关系还在不断变化的情况该点不满足的话分析结果准确性就无法得到保证。这点导致GC进行时必须停顿所有Java执行线程(Sun将这件事情称为Stop The World)的其中一个重要原因即使是在号称(几乎)不会发生停顿的CMS收集器中枚举根节点时也是必须要停顿的

由于目前的主流Java虚拟机使用的都是准确式GC,所以当执行系统停顿下来后,并不需要一个不漏地检查完所有执行上下文和全局的引用位置虚拟机应当是有办法直接得知哪些地方存放着对象引用。在HotSpot的实现中,是使用一组称为OopMap数据结构来达到这个目的的,在类加载完成的时候,HotSpot就把对象内什么偏移量上是什么类型的数据计算出来,在JIT编译过程中,也会在特定的位置记录下寄存器中哪些位置是引用。这样GC扫描时就可以直接得知这些信息了。

安全点

OopMap的协助下,HotSpot可以快速准确地完成GC Roots枚举,但一个很现实的问题随之而来:可能导致引用关系变化或者说OopMap内容变化的指令非常多如果为每一条指令都生成对应的OopMap,那将会需要大量的额外空间,这样GC空间成本将会变得很高

实际上,HotSpot也的确没有为每条指令都生成OopMap,前面已经提到,只是在指定的位置记录了这些信息,这些位置称为安全点(Safepoint),即程序执行时并非在所有地方都能停顿下来开始GC,只有在到达安全点时才能暂停Safepoint的选定既不能太少以致于让GC等待时间太长也不能过于频繁以致于过分增大运行时负荷。所以,安全点的选定基本上是以程序是否具有让程序长时间执行的特征为标准进行选定的——因为每条指令执行的时间都非常短暂,程序不太可能因为指令流长度太长这个原因而过长时间运行,长时间执行的最明显特征就是指令序列复用,例如:方法调用循环跳转异常跳转等,所以具有这些功能的指令才会产生Safepoint

对于Safepoint,另一个需要考虑的问题是如何在GC发生时让所有线程(这里不包括执行JNI调用的线程)都跑在最近的安全点上再停顿下来。这里有两种方案可供选择:抢先式中断(Preemptive Suspension)主动式中断(Voluntary Suspension),其中抢先式中断不需要线程的执行代码主动去配合,在GC发生时,首先把所有线程全部中断,如果发现有线程中断的地方不在安全点上,就恢复线程,让它安全点上。现在几乎没有虚拟机实现采用抢先式中断来暂停线程从而响应GC事件

主动式中断的思想是当GC需要中断线程的时候不直接在对线程操作仅仅简单地设置标记各个线程执行时主动去轮询这个标记发现中断标记为真时就自己中断挂起轮询标记的地方和安全点是重合的另外再加上创建对象需要分配内存的地方

安全区域

使用Safepont似乎已经完美地解决了如何进入GC的问题,但实际情况却并不一定。Safepoint机制保证了程序执行时,在不太长的时间内就会遇到可进入GCSafepoint。但是,程序不执行的时候呢?所谓的程序不执行就是没有分配CPU的时间,典型的例子就是线程处于Sleep状态或者Blocked状态,这时候线程无法响应JVM中断请求安全的地方中断挂起JVM也显然不太可能等待线程重新被分配CPU时间。对于这种情况,就需要**安全区域(Safe Region)**来解决。

安全区域是指在一段代码片段之中,引用关系不会发生变化。在这个区域中的任意地方开始GC都是安全的,我们也可以把Safe Region看做是被扩展了的Safepoint

线程执行到Safe Region中的代码时,首先标识自己已经进入了Safe Region,那样,当在这段时间里JVM要发起GC时,就不用管标识自己为Safe Region状态的线程了。在线程要离开Safe Region时,它要检查系统是否已经完成了根节点枚举(或者是整个GC过程)如果完成了那线程就继续执行否则它就必须等待直到收到可以安全离开Safe Region的信号为止

垃圾收集器

如果说收集算法内存回收方法论,那么垃圾收集器就是内存回收具体实现Java虚拟机规范中对垃圾收集器应该如何实现并没有任何规定,因此不同的厂商不同版本的虚拟机所提供的垃圾收集器都可能会有很大差别,并且一般都会提供参数供用户根据自己的应用特点要求组合出各个年代所使用的的收集器。这里讨论的收集器基于JDK 1.7 Update 14之后的HotSpot虚拟机(在这个版本中正式提供了商用的G1收集器,之前G1仍处于实验状态),这个虚拟机七种收集器Serial收集器ParNew收集器Parellel Scavenge收集器Parallel Scavenge收集器Serial Old(MSC)收集器Parallel Old收集器CMS收集器G1收集器,如下图所示:

GarbageCollectorForHotSpotVirtualMachine.jpg

上图展示了七种作用于不同分代收集器,如果两个收集器之间存在连线,就说明它们可以搭配使用虚拟机所处的区域,则表示它是属于新生代收集器还是老年代收集器

要注意的是,直到现在为止还没有最好的收集器出现,更加没有万能的收集器,所以我们选择的只是对具体应用最合适的收集器,这点不需要多加解释就能证明:如果有一种放之四海皆准、任何场景下都适用的完美收集器存在,那HotSpot虚拟机就没必要实现那么多不同的收集器了。

内存分配与回收策略

Java技术体系中所提倡的自动内存管理最终可以归结为自动化地解决了两个问题给对象分配内存以及回收分配给对象的内存

对象的内存分配,往大方向讲,就是在堆上分配(但也可能经过JIT编译后被拆散为标量类型并间接地栈上分配)对象主要分配在新生代的Eden区上,如果启动了本地线程分配缓冲(TLAB),将线程优先在TLAB上分配。少数情况下也可能会直接分配在老年代中,分配的规则并不是百分之百固定其细节取决于当前使用的是哪一种垃圾收集器组合还有虚拟机中与内存相关的参数的设置

有以下几条最普遍内存分配规则

  • 对象优先在Eden分配
  • 大对象直接进入老年代
  • 长期存活的对象将进入老年代
  • 动态对象年龄判定
  • 空间分配担保

参考文献:

[1] 周志明,深入理解Java虚拟机(第2版)[M],机械工业出版社,2013年9月1日,61页~100页

我的GitHub:TanJiaJunBeyond

Android通用框架:Android通用框架

我的掘金:谭嘉俊

我的简书:谭嘉俊

我的CSDN:谭嘉俊

文章分类
Android
文章标签