8、JVM入门学习日记(day08)--Java内存区域--运行时数据区之方法区概述

224 阅读18分钟

JVM运行时数据区--方法区

这次所讲述的是运行时数据区的最后一个部分

image.png

1. 栈、堆、方法区的交互关系

从线程共享与否的角度来看

image.png

ThreadLocal:如何保证多个线程在并发环境下的安全性?典型应用就是数据库连接管理,以及会话管理

堆、栈、方法区的交互关系:

image.png

  • Person:存放在元空间,也可以说方法区[存放类型信息]
  • person:存放在Java栈的局部变量表中,这里是一个引用reference类型
  • new Person():存放在Java堆中

还有种情况,java是没有采用的

image.png

2、方法区的理解

2.1、方法区在哪?

《Java虚拟机规范》中明确说明:“尽管所有的方法区在逻辑上是属于堆的一部分,但一些简单的实现可能不会选择去进行垃圾收集或者进行压缩。”但对于HotSpotJVM而言,方法区还有一个别名叫做Non-Heap(非堆),目的就是要和堆分开。

所以,方法区看作是一块独立于Java堆的内存空间。

也可以从另外一个角度看这个问题:我们给一段程序设置堆空间的参数,并不会影响我们方法区的大小。

image.png

2.2、方法区的基本理解

方法区主要存放的是 Class,而堆中主要存放的是 实例化的对象

  • 方法区(Method Area)与Java堆一样,是各个线程共享的内存区域。
  • 方法区在JVM启动的时候被创建,并且它的实际的物理内存空间中和Java堆区一样都可以是不连续的。
  • 方法区的大小,跟堆空间一样,可以选择固定大小或者可扩展。
  • 方法区的大小决定了系统可以保存多少个类,如果系统定义了太多的类,导致方法区溢出,虚拟机同样会抛出内存溢出错误:java.lang.OutofMemoryError:PermGenspace[jdk7报的,永久代] 或者java.lang.OutOfMemoryError:Metaspace[jdk8报的,元空间],比如:
    • 加载大量的第三方的jar包
    • Tomcat部署的工程过多(30~50个)
    • 大量动态的生成反射类
  • 关闭JVM就会释放这个区域的内存。

例:使用jvisualvm查看执行这段程序总共要加载类的个数

public class MethodAreaDemo {
    public static void main(String[] args) {
        System.out.println("start...");
        try {
            Thread.sleep(1000000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }

        System.out.println("end...");
    }
}

打开jvisualvm

image.png

2.2、HotSpot中方法区的演进

在jdk7及以前,习惯上把方法区,称为永久代。jdk8开始,使用元空间取代了永久代。

  • JDK 1.8后,元空间存放在堆外内存中

本质上,方法区和永久代并不等价。仅是对hotspot而言的。《Java虚拟机规范》对如何实现方法区,不做统一要求。例如:BEAJRockit / IBM J9 中不存在永久代的概念。

现在来看,当年使用永久代,不是好的idea。导致Java程序更容易oom(超过-XX:MaxPermsize上限)

方法区在JDK7及JDK8的落地实现:如下图

image.png

而到了JDK8,终于完全废弃了永久代的概念,改用与JRockit、J9一样在本地内存中实现的元空间(Metaspace)来代替

image.png

  • 元空间的本质和永久代类似,都是对JVM规范中方法区的实现。不过元空间与永久代最大的区别在于:元空间不在虚拟机设置的内存中,而是使用本地内存
  • 永久代、元空间二者并不只是名字变了,内部结构也调整了
  • 根据《Java虚拟机规范》的规定,如果方法区无法满足新的内存分配需求时,将抛出OOM异常

3、设置方法区大小与OOM

方法区的大小可以设置为固定的,也可以根据应用的需要动态调整。

3.1、jdk7及以前

  • 通过-xx:Permsize来设置永久代初始分配空间。默认值是20.75M
  • -XX:MaxPermsize来设定永久代最大可分配空间。32位机器默认是64M,64位机器模式是82M
  • 当JVM加载的类信息容量超过了这个值,会报异常OutofMemoryError:PermGen space

3.1.1、查看默认空间大小

首先更改环境为jdk1.7:

image.png

重新编译MethodAreaDemo程序后 ,在cmd窗口

jps
jinfo -flag PermSize 进程id   //查看初始的永久代空间大小
jinfo -flag MaxPermSize 进程id  //查看最大的永久代空间大小

image.png

计算永久代初始分配空间默认值:21757952/1024/1024=20.75M

image.png

计算永久代最大可分配空间默认值:85983232/1024/1024=82M

3.1.2 配置初始值和最大值

jdk7及以前:-XX:PermSize=100M -XX:MaxPermSize=100M

3.2 jdk8及以后

元数据区大小可以使用参数-XX:MetaspaceSize-XX :MaxMetaspaceSize指定,替代上述原有的两个参数。

默认值依赖于平台。windows下,-XX:MetaspaceSize是21M,-XX:MaxMetaspaceSize的值是-1, 即没有限制。

与永久代不同,jdk8以后的元空间如果不指定大小,默认情况下,虚拟机会耗尽所有的可用系统内存。如果元数据区发生溢出,虚拟机一样会拋出异常OutOfMemoryError:Metaspace

-XX:MetaspaceSize: 设置初始的元空间大小。对于一个64位的服务器端JVM来说,其默认的-XX :MetaspaceSize值为21MB.这就是初始的高水位线,一旦触及这个水位线,Full GC将会被触发并卸载没用的类(即这些类对应的类加载器不再存活),然后这个高水位线将会重置。新的高水位线的值取决于GC后释放了多少元空间。如果释放的空间不足,那么在不超过MaxMetaspaceSize时,适当提高该值。如果释放空间过多,则适当降低该值。

如果初始化的高水位线设置过低,上述高水位线调整情况会发生很多次。通过垃圾回收器的日志可以观察到Full GC多次调用。为了避免频繁地GC,建议将-XX:MetaspaceSize设置为一个相对较高的值。

3.2.1 查看默认空间大小

基本步骤和上面一样,设置为1.8,计算元数据区初始分配空间默认值:21807104/1024/1024=20.79M(默认值依赖于平台。 windows和苹果下大小可能不一样,因为1.8后改为本地内存中存储元数据)

image.png

3.2.2 设置初始值和最大值

jdk8及以后:-XX:MetaspaceSiza=100m -XX:MaxMetaspaceSiza=100m

补充:在8的环境下设置7的参数会怎么样

报错过时

image.png

3.3 方法区OOM(内存溢出)

3.3.1 OOM代码演示

/**
 * jdk6/7中:
 * -XX:PermSize=10m -XX:MaxPermSize=10m
 *
 * jdk8中:
 * -XX:MetaspaceSize=10m -XX:MaxMetaspaceSize=10m
 *
 */
public class OOMTest extends ClassLoader {
    public static void main(String[] args) {
        int j = 0;
        try {
            OOMTest test = new OOMTest();
            for (int i = 0; i < 10000; i++) {
                //创建ClassWriter对象,用于生成类的二进制字节码
                ClassWriter classWriter = new ClassWriter(0);
                //指明版本号,修饰符,类名,包名,父类,接口
                classWriter.visit(Opcodes.V1_8, Opcodes.ACC_PUBLIC, "Class" + i, null, "java/lang/Object", null);
                //返回byte[]
                byte[] code = classWriter.toByteArray();
                //类的加载
                test.defineClass("Class" + i, code, 0, code.length);//Class对象
                j++;
            }
        } finally {
            System.out.println(j);
        }
    }
}

1、在jdk1.8环境下,首先不设置参数:

image.png

加载了10000次,元空间会动态扩展大小,不会溢出

在这里插入图片描述

设置初始值,最大值都为10M【限制大小,使之不足以装下10000个类】

在这里插入图片描述

报错:OutOfMemoryError:Metaspace

在这里插入图片描述

2、将环境改为jdk7,并且设置初始值,最大值为5M【设置为10m可能报不出内存溢出错误来】

image.png

指明版本号为1.6:

classWriter.visit(Opcodes.V1_6, Opcodes.ACC_PUBLIC, 

运行报错PerGen space:

image.png

3.3.2 如何解决这些OOM

要解决OOM异常或heap space的异常,一般的手段是首先通过内存映像分析工具(如Ec1ipse Memory Analyzer)对dump出来的堆转储快照进行分析,重点是确认内存中的对象是否是必要的,也就是要先分清楚到底是出现了内存泄漏(Memory Leak)还是内存溢出(Memory Overflow)

内存泄漏就是 有大量的引用指向某些对象,但是这些对象以后不会使用了,但是因为它们还和GC ROOT有关联,所以导致以后这些对象也不会被回收,这就是内存泄漏的问题

如果是内存泄漏,可进一步通过工具查看泄漏对象到GC Roots的引用链。于是就能找到泄漏对象是通过怎样的路径与GCRoots相关联并导致垃圾收集器无法自动回收它们的。掌握了泄漏对象的类型信息,以及GCRoots引用链的信息,就可以比较准确地定位出泄漏代码的位置。

如果不存在内存泄漏,换句话说就是内存中的对象确实都还必须存活着,那就应当检查虚拟机的堆参数(-Xmx与-Xms),与机器物理内存对比看是否还可以调大,从代码上检查是否存在某些对象生命周期过长、持有状态时间过长的情况,尝试减少程序运行期的内存消耗。

4、方法区的内部结构

image.png

4.1 方法区存储什么

《深入理解Java虚拟机》书中对方法区存储内容描述如下:它用于存储已被虚拟机的类加载器加载的类型信息、常量、静态变量、即时编译器编译后的代码缓存等。【这些信息可以通过字节码文件查看】

image.png

4.2 类型信息

对每个加载的类型( 类class、接口interface、枚举enum、注解annotation),JVM必须在方法区中存储以下类型信息:

  • 这个类型的完整有效名称(全名=包名.类名)
  • 这个类型直接父类的完整有效名(对于interface或是java. lang.Object,都没有父类)
  • 这个类型的修饰符(public, abstract, final的某个子集)
  • 这个类型直接接口的一个有序列表

当然,这些信息都是通过classloader加载类的字节码文件进去的,在方法区里面,当前这个类是由哪个类加载器加载的在类型信息里面也有记录,当然这个classloader也会记录它加载过谁,彼此互相记录。

4.3 域【Field】信息(成员变量)

JVM必须在方法区中保存类型的所有域的相关信息以及域的声明顺序。

域的相关信息包括:域名称、域类型、域修饰符(public, private,protected, static, final, volatile, transient的某个子集)

4.4 方法信息

image.png

4.5 non-final的类变量

  • 静态变量和类关联在一起,随着类的加载而加载,他们成为类数据在逻辑上的一部分
  • 类变量被类的所有实例所共享,==即使没有类实例你也可以访问它==
public class MethodAreaTest {
    public static void main(String[] args) {
        Order order = null;
        order.hello();
        System.out.println(order.count);
    }
}

class Order {
    public static int count = 1;
    public static final int number = 2; //必须显示赋值,没有默认值


    public static void hello() {
        System.out.println("hello!");
    }
}

如上代码所示,即使我们把order设置为null,也不会出现空指针异常 【因为是静态的,所以即使没有类实例你也可以访问它】

4.6 全局常量

  • 全局常量就是使用 static final 进行修饰
  • 被声明为final的类变量的处理方法则不同,每个全局常量在编译的时候就被分配了。

Order.class字节码文件,右键Open in Teminal打开控制台,使用javap -v -p Order.class > tst.txt 将字节码文件反编译并输出为txt文件,可以看到被声明为static final的常量number在编译的时候就被赋值了,这不同于没有被final修饰的static变量count是在类加载的准备阶段被赋值.

image.png

4.7 运行时常量池VS常量池

image.png

  • 方法区,内部包含了运行时常量池。
  • 字节码文件,内部包含了常量池【Constant pool】
  • 要弄清楚方法区,需要理解清楚ClassFile,因为加载类的信息都在方法区。
  • 要弄清楚方法区的运行时常量池,需要理解清楚ClassFile中的常量池。
  • 简单来说,就是通过类加载器将字节码文件加载进方法区以后,字节码文件里面的常量池对应方法区里面的结构就叫运行时常量池。

字节码结构:docs.oracle.com/javase/spec…

字节码文件中常量池结构:

image.png

4.7.1 常量池

字节码文件结构

image.png

一个有效的字节码文件中除了包含类的版本信息、字段、方法以及接口等描述信息外,还包含一项信息那就是常量池表(Constant Poo1 Table),包括各种字面量和对类型域和方法的符号引用。

为什么需要常量池?

一个 java 源文件中的类、接口,编译后产生一个字节码文件。而 Java 中的字节码需要数据支持,通常这种数据会很大以至于不能直接存到字节码里,换另一种方式,可以存到常量池,这个字节码包含了指向常量池的引用。在动态链接的时候会用到运行时常量池.

比如如下代码:

public class Simpleclass {
	public void sayhello() {
	    System.out.println ("hello");
	}    
}

虽然大小只有 194 字节,但是里面却使用了 String、System、Printstream 及 Object 等结构。这里代码量其实已经很小了。如果代码多,引用到的结构会更多!

常量池中有什么?

即几种在常量池内存储的数据类型包括:

  • 数量值
  • 字符串值
  • 类引用
  • 字段引用
  • 方法引用

例如下面这段代码

public class MethodAreaTest2 {
    public static void main(String args[]) {
        Object obj = new Object();
    }
}

将会被翻译成如下字节码【所有#数字,都是对应常量池的数据 】

new #2  
dup
invokespecial

小结

==常量池,可以看做是一张表,虚拟机指令根据这张常量表找到要执行的类名,方法名,参数类型、字面量等信息。==

4.7.2 运行时常量池

  • 运行时常量池( Runtime Constant Pool)是方法区的一部分。
  • 常量池表(Constant Pool Table)是Class文件的一部分,用于存放编译期生成的各种字面量与符号引用,这部分内容将在类加载后存放到方法区的运行时常量池中。
  • 运行时常量池,在加载类和接口到虚拟机后,就会创建对应的运行时常量池。
  • JVM为每个已加载的类型(类或接口)都维护一个常量池。池中的数据项像数组项一样,是通过索引访问的。
  • 运行时常量池中包含多种不同的常量,包括编译期就已经明确的数值字面量,也包括到运行期解析后才能够获得的方法或者字段引用。此时不再是常量池中的符号地址了,这里换为真实地址。
    • 运行时常量池,相对于Class文件常量池的另一重要特征是:具备动态性。
      • String.intern():考虑如果常量池没有这个String,把他加入到运行时常量池,所以说,有的时候运行时常量池有可能比常量池数据还多一些,这就体现了动态性
  • 运行时常量池类似于传统编程语言中的符号表(symbol table) ,但是它所包含的数据却比符号表要更加丰富一些。
  • 当创建类或接口的运行时常量池时,如果构造运行时常量池所需的内存空间超过了方法区所能提供的最大值,则JVM会抛OutOfMemoryError异常。

5、方法区使用举例

5.1 代码案例

public class MethodAreaDemo {
    public static void main(String[] args) {
        int x = 500;
        int y = 100;
        int a = x / y;
        int b = 50;
        System.out.println(a + b);
    }
}

常量池字节码

image.png

main方法字节码

image.png

5.2 字节码执行过程

没有new对象,所以没有考虑堆空间

image.png

首先现将操作数500放入到操作数栈中

image.png

然后存储到局部变量表中

image.png

然后重复一次,把100放入局部变量表中,最后再将变量表中的500 和 100 取出栈【iload_1和iload_2】,进行操作

image.png

将500 和 100 进行一个除法运算[idiv],在把结果入栈

image.png

在最后就是输出流,需要调用运行时常量池的常量

image.png

最后调用invokevirtual(虚方法调用,#3就对应调用println方法),然后返回

image.png

返回时

image.png

程序计数器始终计算的都是当前代码运行的位置,目的是为了方便记录 方法调用后能够正常返回,或者是进行了CPU切换后,也能回来到原来的代码进行执行。

6、方法区的演进细节

6.1 方法区的演进细节

1、首先明确:只有HotSpot才有永久代。

BEA JRockit、IBM J9等来说,是不存在永久代的概念的。原则上如何实现方法区属于虛拟机实现细节,不受《Java虚拟机规范》管束,并不要求统一。

2、Hotspot中 方法区的变化:

dk1.6及之前

image.png

jdk1.7

image.png

dk1.8及之后

image.png

6.2 永久代为什么要被元空间替换

随着Java8的到来,HotSpot VM中再也见不到永久代了。但是这并不意味着类的元数据信息也消失了。这些数据被移到了一个与堆不相连的本地内存区域,这个区域叫做元空间( Metaspace )

由于类的元数据分配在本地内存中,元空间的最大可分配空间就是系统可用内存空间。

这项改动是很有必要的,原因有:

  1. 为永久代设置空间大小是很难确定的。在某些场景下,如果动态加载类过多,容易产生Perm区的O0M。比如某个实际Web工程中,因为功能点比较多,在运行过程中,要不断动态加载很多类,经常出现致命错误:“Exception in thread’ dubbo client x.x connector’java.lang.OutOfMemoryError: PermGenspace”
  2. 而元空间和永久代之间最大的区别在于:元空间并不在虚拟机中,而是使用本地内存。因此,默认情况下,元空间的大小仅受本地内存限制。
  3. 对永久代进行调优是很困难的。

6.2.1 StringTable(字符串常量池) 为什么要调整

jdk7中将StringTable放到了堆空间中。因为永久代的回收效率很低,在full gc的时候才会触发。而full GC 是老年代的空间不足、永久代不足时才会触发。这就导致了StringTable回收效率不高。而我们开发中会有大量的字符串被创建,回收效率低,导致永久代内存不足。放到堆里,能及时回收内存.

6.3 静态变量存在哪

6.3.1 代码一

public class staticFieldTest {
	private static byte[] arr = new byte[1024*1024*100];//100MB
	public static void main(String[] args) {
		system.out. println(StaticFieldTest.arr);
	}
}

200M的堆空间,300M的永久代

  • 在环境jdk6下
  • 在环境7下
  • 在环境8下

通过三个版本发现结论:静态引用对应的对象实体【new byte[1024x1024x100]】始終都存在堆空间

和静态变量名,即引用,分开,jdk6的静态变量名在方法区,jdk7-8在堆

6.3.3 代码二

/**
 * 《深入理解Java虚拟机》中的案例:
 * staticObj、instanceObj、localObj存放在哪里?
 */
public class StaticObjTest {
    static class Test {
    	//定义一个静态的属性
        static ObjectHolder staticObj = new ObjectHolder();
        //定义一个非静态属性
        ObjectHolder instanceObj = new ObjectHolder();
		
        void foo() {
        	//new一个方法内的局部变量
            ObjectHolder localObj = new ObjectHolder();
            System.out.println("done");
        }
    }
    private static class ObjectHolder { }
    public static void main(String[] args) {
        Test test = new StaticObjTest.Test();
        test.foo();
    }
}

变量:staticObj随着Test的类型信息存放在方法区,instance0bj 随着Test的对象实例存放在Java堆,localobject则是存放在foo()方法栈帧的局部变量表中。

6.3.4 结果分析

hsdb>scanoops 0x00007f32c7800000 0x00007f32c7b50000 JHSDB_ _TestCase$Obj ectHolder
0x00007f32c7a7c458 JHSDB_ TestCase$Obj ectHolder
0x00007f32c7a7c480 JHSDB_ TestCase$Obj ectHolder
0x00007f32c7a7c490 JHSDB_ TestCase$Obj ectHolder

测试发现:三个对象的数据在内存中的地址都落在Eden区范围内,所以结论:只要是对象实例(new的)必然会在Java堆中分配。

接着,找到了一个引用该staticObj对象的地方,是在一个java. lang . Class的实例里,并且给出了这个实例的地址,通过Inspector查看该对象实例,可以清楚看到这确实是一个java.lang.Class类型的对象实例,里面有一个名为staticObj的实例字段:[可以使用 jhsdb.ext工具分析查看,需要在jdk9的时候才引入的 ]

image.png

从《Java 虛拟机规范》所定义的概念模型来看,所有 Class 相关的信息都应该存放在方法区之中,但方法区该如何实现,《Java 虚拟机规范》并未做出规定,这就成了一件允许不同虚拟机自己灵活把握的事情。JDK7 及其以后版本的 Hotspot 虚拟机选择把静态变量与类型在 Java 语言一端的映射 Class 对象存放在一起,存储于Java 堆之中,从我们的实验中也明确验证了这一点.

7、方法区的垃圾回收

有些人认为方法区(如Hotspot,虚拟机中的元空间或者永久代)是没有垃圾收集行为的,其实不然。《Java 虚拟机规范》对方法区的约束是非常宽松的,提到过可以不要求虚拟机在方法区中实现垃圾收集。事实上也确实有未实现或未能完整实现方法区类型卸载的收集器存在(如 JDK11 时期的 2GC 收集器就不支持类卸载)。

一般来说这个区域的回收效果比较难令人满意,尤其是类型的卸载,条件相当苛刻。但是这部分区域的回收有时又确实是必要的。以前 Sun 公司的 Bug 列表中,曾出现过的若干个严重的 Bug 就是由于低版本的 Hotspot 虚拟机对此区域未完全回收而导致内存泄漏。

方法区的垃圾收集主要回收两部分内容:常量池中废奔的常量和不再使用的类型

先来说说方法区内常量池之中主要存放的两大类常量:字面量和符号引用。

字面量比较接近Java语言层次的常量概念,如文本字符串、被声明为final的常量值等。而符号引用则属于编译原理方面的概念,包括下面三类常量:

  • 类和接口的全限定名
  • 字段的名称和描述符
  • 方法的名称和描述符

HotSpot虚拟机对常量池的回收策略是很明确的,只要常量池中的常量没有被任何地方引用,就可以被回收。

回收废弃常量与回收Java堆中的对象非常类似。

判定一个常量是否“废弃”还是相对简单,而要判定一个类型是否属于“不再被使用的类”的条件就比较苛刻了。需要同时满足下面三个条件:

  1. 该类所有的实例都已经被回收,也就是Java堆中不存在该类及其任何派生子类的实例。加载该类的类加载器已经被回收,这个条件除非是经过精心设计的可替换类加载器的场景,如OSGi、JSP的重加载等,否则通常是很难达成的。
  2. 该类对应的java.lang.Class对象没有在任何地方被引用,无法在任何地方通过反射访问该类的方法。Java虛拟机被允许对满足上述三个条件的无用类进行回收,这里说的仅仅是“被允许”,而并不是和对象一样,没有引用了就必然会回收。关于是否要对类型进行回收,HotSpot虚拟机提供了-Xnoclassgc 参数进行控制,还可以使用-verbose:class以及-XX:+TraceClass-Loading、-XX:+TraceClassUnLoading查 看类加载和卸载信息
  3. 在大量使用反射、动态代理、CGLib等字节码框架,动态生成JSP以及oSGi这类频繁自定义类加载器的场景中,通常都需要Java虚拟机具备类型卸载的能力,以保证不会对方法区造成过大的内存压力。

8、总结

image.png

9、面试题:

百度三面:

说一下JVM内存模型吧,有哪些区?分别干什么的?

本地方法栈,虚拟机栈,方法区,堆,

蚂蚁金服:

Java8的内存分代改进 JVM内存分哪几个区,每个区的作用是什么? 一面: JVM内存分布/内存结构?栈和堆的区别?堆的结构?为什么两个survivor区? 二面: Eden和Survior的比例分配

小米:

jvm内存分区,为什么要有新生代和老年代

字节跳动:

二面:Java的内存分区 二面:讲讲jvm运行时数据库区 什么时候对象会进入老年代?

京东:

JVM的内存结构,Eden和Survivor比例 。 JVM内存为什么要分成新生代,老年代,持久代。新生代中为什么要分为Eden和Survivor。

天猫:

一面:Jvm内存模型以及分区,需要详细到每个区放什么。 一面:JVM的内存模型,Java8做了什么修改

拼多多:

JVM内存分哪几个区,每个区的作用是什么?

美团:

java内存分配 jvm的永久代中会发生垃圾回收吗? 一面: jvm内存分区,为什么要有新生代和老年代?