内存泄漏和内存溢出

2,286 阅读6分钟

1. 内存溢出

内存溢出(out of memory)通俗的理解就是内存不够了,比如你申请一个大对象而堆内存放不下这个对象就会导致内存溢出。

2. 内存泄漏

内存泄漏(Memory Leak)一般是指程序中动态分配的内存因为某种未释放或者无法释放,导致内存的浪费,随着程序的允许不断增加最终导致程序缓慢或者系统崩溃。

3. 内存泄漏的8中情况

Java中有自动垃圾回收机制,会自动回收不在使用的对象。如何判断对象是否可以回收主要是用引用计数器法和可达性分析算法,其本质就是判断一个对象是否被引用。但是代码中会存在一些异常常见导致内存泄漏的情况。 image.png

上面1,2,3点都是很好理解的,主要说明下4,5,6三点

4. 内部类持有外部类

如果一个外部类实例的对象返回了一个内部类实例的对象,这个内部类对象被长期引用。即使外部类没有被引用,他也不会被垃圾回收器回收,从而造成内存泄漏

5. 改变哈希值

当一个对象被存入HashSet对象之后,就不能修改这个对象中参与计算哈希值的字段了,否则对象修改后的Hash值与最初存储的哈希值不一致,这样用contains方法检索对象找不到返回的结果,造成无法释放,导致内存泄漏。

6. 过期引用

内存泄漏的第一个常见来源是存在过期引用。这是我们平时写代码的时候一不小心就可能造成内存泄漏了,如果平时版本发布频繁还不一定能发现。

/**
 * @author boren
 * @date 2021/07/22
 */
public class MyStack {

    /**
     * 定义数组
     */
    private Object[] elements;

    /**
     * 定义size
     */
    private int size = 0;

    /**
     * 默认16容量
     */
    private static final int DEFAULT_CAPACITY = 16;
    
    public MyStack() {
        elements = new Object[DEFAULT_CAPACITY];
    }
    public void push(Object object) {
        ensureCapacity();
        elements[size++] = object;
    }
    public Object pop() {
        if (size == 0)
            throw new EmptyStackException();
        return elements[--size];
    }
    private void ensureCapacity() {
        if (elements.length == size) {
            elements = Arrays.copyOf(elements, 2 * size + 1);
        }
    }
}

上面是一个手写的栈的数据结构,有两个方法进栈和出栈,看似没有问题,但是我们大量的进栈和出栈,pop之后,弹出的对象不会被回收,因为栈用还保留这些对象的引用,俗成过期引用。

解决方法: image.png

还有一些经典的场景也是面试种也被经常问到的ThreadLocal造成内存泄漏的原因,也是因为这些过期的引用导致。

4. 内存溢出场景

内存溢出分为两大类:OutOfMemoryError和StackOverflowError, 下面是某位大神总结的10种常见内存溢出的场景。

image.png

4.1 Java堆内存溢出

当出现java.lang.OutOfMemoryError:Java heap space异常时,就是堆内存溢出了。

问题描述

  1. 设置的JVM内存太小,对象所需要的内存空间太大,创建的对象的时候内存不足
  2. 流量或者数据峰值,应用程序自身的处理存在一定的限额。当QPS激增可能会导致java. lang.OutOfMemoryError错误
import java.util.List;

/**
 * @author boren
 * @date 2021/07/22
 */
public class HeadOomError {

    public static void main(String[] args) {
        List<Byte[]> list = new ArrayList<>();

        int i = 0;
        while(true) {
            list.add(new Byte[8*1024*1024]);
            System.out.println("count is " + (++i));
        }
    }
}

image.png 可以看见很快就内存溢出了,其中这种情况在我们代码开发的过程种也可能碰到,比如说写个job处理批量数据的时候,就可能会犯这种错误。

解决方法

  1. 可以适当调整-Xms和-Xmx两个参数,通过压测等手段达到最优值
  2. 尽量避免大对象,比如我们操作文件或者读取数据库数据的时候,需要考虑一次性读取的数据量,和我们系统处理的速度等。

4.2 Java堆内存泄漏

内存泄漏最终的结果最终会导致OutOfMemoryError

package com.demo;

import java.util.HashMap;
import java.util.Map;

public class MemoryLeakOomError {
    static class Key {
        private Integer id;
        public Key(Integer id) {
            this.id = id;
        }
        @Override
        public int hashCode() {
            return id.hashCode();
        }
    }

    public static void main(String[] args) {
        Map<Key, String> map = new HashMap<>();
        while(true) {
            for (int i = 0; i < 1000; i++) {
                if (map.containsKey(new Key(i))) {
                    map.put(new Key(i), "number:" + i);
                }
            }
        }
    }
}

4.3 垃圾回超时内存溢出

问题:

当应用程序耗尽所有可用内存时,GC开销限制超过了错误,而GC多次未能清除它,这时便会引发java.lang.OutOfMemoryError。当JVM花费大量的时间执行GC,而收效甚微,而一旦整个GC的过程超过限制便会触发错误(默认的jvm配置GC的时间超过98%,回收堆内存低于2%)。

3.解决方法

要减少对象生命周期,尽量能快速的进行垃圾回收。

4.4 Metaspace内存溢出

1.问题描述

元空间的溢出,系统会抛出java.lang.OutOfMemoryError: Metaspace。出现这个异常的问题的原因是系统的代码非常多或引用的第三方包非常多或者通过动态代码生成类加载等方法,导致元空间的内存占用很大。

4.5 直接内存溢出

1.问题描述

在使用ByteBuffer中的allocateDirect()的时候会用到,很多javaNIO(像netty)的框架中被封装为其他的方法,出现该问题时会抛出java.lang.OutOfMemoryError: Direct buffer memory异常。

如果你在直接或间接使用了ByteBuffer中的allocateDirect方法的时候,而不做clear的时候就会出现类似的问题

4.6 栈内存溢出

1.问题描述

当一个线程执行一个Java方法时,JVM将创建一个新的栈帧并且把它push到栈顶。此时新的栈帧就变成了当前栈帧,方法执行时,使用栈帧来存储参数、局部变量、中间指令以及其他数据。

这个我们自己写一些递归代码的时候比较常见的问题。

3.解决办法

如果程序中确实有递归调用,出现栈溢出时,可以调高-Xss大小,就可以解决栈内存溢出的问题了。递归调用防止形成死循环,否则就会出现栈内存溢出。

4.7 创建本地线程内存溢出

1.问题描述

线程基本只占用heap以外的内存区域,也就是这个错误说明除了heap以外的区域,无法为线程分配一块内存区域了,这个要么是内存本身就不够,要么heap的空间设置得太大了,导致了剩余的内存已经不多了,而由于线程本身要占用内存,所以就不够用了

4.8 超出交换区内存溢出

1.问题描述

在Java应用程序启动过程中,可以通过-Xmx和其他类似的启动参数限制指定的所需的内存。而当JVM所请求的总内存大于可用物理内存的情况下,操作系统开始将内容从内存转换为硬盘。

一般来说JVM会抛出Out of swap space错误,代表应用程序向JVM native heap请求分配内存失败并且native heap也即将耗尽时,错误消息中包含分配失败的大小(以字节为单位)和请求失败的原因。

4.9 数组超限制内存溢出

1.问题描述

有的时候会碰到这种内存溢出的描述Requested array size exceeds VM limit,一般来说java对应用程序所能分配数组最大大小是有限制的,只不过不同的平台限制有所不同,但通常在1到21亿个元素之间。

4.10 系统杀死进程内存溢出

1.问题概述

在描述该问题之前,先熟悉一点操作系统的知识:操作系统是建立在进程的概念之上,这些进程在内核中作业,其中有一个非常特殊的进程,称为“内存杀手(Out of memory killer)”。当内核检测到系统内存不足时,OOM killer被激活,检查当前谁占用内存最多然后将该进程杀掉。

一般Out of memory:Kill process or sacrifice child错会在当可用虚拟虚拟内存(包括交换空间)消耗到让整个操作系统面临风险时,会被触发。在这种情况下,OOM Killer会选择“流氓进程”并杀死它。

参考文档

《疯狂创客JAVA面试》