HashMap

201 阅读14分钟

一、概述

HashMap的数据结构是由:数组+链表组成;由于JDK1.7并发时存在死锁问题,所以在JDK1.8的时候引入了红黑树数据结构;

总结:
1)使用数组可以快速定位到指定的元素,使整个插入与获取处理的时间复杂度控制在O(1),即:1次完成;
2)使用链表解决了Hash碰撞,多元素Hash后指向同一个数据位置的问题;

二、核心内容

2.1)重要属性

DEFAULT_INITIAL_CAPACITY = 1 << 4

Hash表默认初始容量,也就是2的4次方=16;要求数组的初始容量必须是2的指数次幂;如果参数不是2的指数次幂,那么在初始化的时候会进行强行转化;转化规则如下:
1)必须接近传入的参数;
2)必须大于或等于传入的参数;
3)必须是2的指数次幂
通常来说如果传入的参数是11,那么就会转换成16;

MAXIMUM_CAPACITY = 1 << 30

最大Hash表容量

DEFAULT_LOAD_FACTOR = 0.75f

默认加载因子,也是扩容因子,也就是说达到75%的时候开始扩容;
这里Get一个BT的面试问题:为什么是0.75,而不是别的数值?这里给一个装逼的回答:
先来看看注释是怎么写的

* <p>As a general rule, the default load factor (.75) offers a good tradeoff
* between time and space costs.  Higher values decrease the space overhead
* but increase the lookup cost (reflected in most of the operations of the
* <tt>HashMap</tt> class, including <tt>get</tt> and <tt>put</tt>).  The
* expected number of entries in the map and its load factor should be taken
* into account when setting its initial capacity, so as to minimize the
* number of rehash operations.  If the initial capacity is greater
* than the maximum number of entries divided by the load factor, no
* rehash operations will ever occur.

翻译过来就是:在作为一个常用的通用的决定,取了一个空间及时间上比较不错的均衡数字值,扩容时需要时间与空间的,例如0.5标识到达一半的时候开始扩容这样浪费空间,如果值太大扩充时有可能因为量太大而导致效率问题,链表处理是O(n);

**装逼+手撕面试官的回答开始:**在作为一个常用的通用的决定,取了一个空间及时间上比较不错的均衡数字值,扩容时需要时间与空间的,例如0.5标识到达一半的时候开始扩容这样浪费空间,如果值太大扩充时有可能因为量太大而导致效率问题,链表处理是O(n);那么这个0.75是不是最好的呢?不是的根据“牛顿二项式”定律得出在数组位上(假设是默认值16),设置为0.75可以达到最可能不会发生碰撞且比例各占50%;从概率学来说最优值是0.69;这里就是获取了一个最优质偏大一点点的数值;总之就是为了在扩容的时候节约空间及时间;

P(0) = C(n,0) * (1/s)^0 * (1-1/s)^(n-0)
log(2)/log(s/(s-1)) keys
lim(log(2)/log(s/(s-1)))/s as s->infinity=log(2)~ 0.693.......

TREEIFY_THRESHOLD = 8

链表转红黑树阈值(JDK1.8)

UNTREEIFY_THRESHOLD = 6

红黑树转链表阈值

MIN_TREEIFY_CAPACITY = 64

链表转红黑树时hash表最小容量阈值,达不到优先扩容。

2.2)内部的执行机制

在JDK1.7的时候Hash使用的是数组+链表;
在JDK1.8及之后在JDK1.7的基础上增加了红黑树;

注意:HashMap容量的大小是指数组的大小;

三、原理分析

普通数组结构:在没有任何其他因素干扰的时候,应该是从头开始依次放入,每次插入都要从头开始遍历数据,直到空位的时候开始进行插入,数据量大的时候非常消耗性能,同理查找也费时;

在底层中Object有一个hashCode方法,此方法返回一个“有符号的整型值”,可以利用这个值进行二次处理,假设目前数组的长度为16(0-15),那么根据这个hashCode方法返回值进行二次计算,计算规则为:hashCode()%16=0-15之内的一个值;这样就可以满足数组的下标区间,获取数据也同理;
在算法上来看:HashMap的Get、Put操作时间复杂度为:O(1);

存在的问题:
在数组中的所有元素位都能够被100%利用吗?
其实就是Hash碰撞问题,因为hashCode返回的是一个不确定过的值,那么在取模运算后,会出现相同坑位下标问题;因此为了解决这个问题,引入了链表方式来解决Hash冲突问题;

//输出值为:11
log.info("hash%16={}", "2020年9月1日".hashCode()%16);
//输出值为:11
log.info("11%16={}", 11%16);

在JDK1.7中使用的是:“头部插入法”,即:当发生Hash碰撞的时候后入的值取代当前值,并与当前值形成一个链表;

四、HashMap核心算法要点

4.1)Hash取值算法

HashMap的取模方式并非取模运算,而是使用的位运算进行的处理,因为位运算的效率远远高于取模,位运算是最接近机器语言;示例代码如下:

/**
 * 类描述:  位运算与取模运算的对比
 *
 * @author XXSD
 * @version 1.0.0
 * @date 2020/9/1 0001 下午 8:50
 */
@Slf4j
public class BitAndModulusComparison {
    public static void main(String[] args) {
        bit();
        modulus();
    }
    public static void bit() {
        int dataNumber = 100 * 1000;
        int bitData = 1;
        final long startTime = System.currentTimeMillis();
        for (int i = dataNumber; i > 0; i++) {
            bitData = bitData & i;
        }
        final long endTime = System.currentTimeMillis();
        log.info("位运算执行时间为:{}毫秒", (endTime - startTime));
    }
    public static void modulus() {
        int dataNumber = 100 * 1000;
        int bitData = 1;
        final long startTime = System.currentTimeMillis();
        for (int i = dataNumber; i > 0; i++) {
            bitData = bitData % i;
        }
        final long endTime = System.currentTimeMillis();
        log.info("取模运算执行时间为:{}毫秒", (endTime - startTime));
    }
}
运行结果
21:03:30.271 [main] INFO xinyan.map.BitAndModulusComparison - 位运算执行时间为:1275毫秒
21:03:45.798 [main] INFO xinyan.map.BitAndModulusComparison - 取模运算执行时间为:15522毫秒
从上述代码中可以看到“位运算”对比“取模运算”在效率上相差约为10个数量级

4.2)容量规划

/**
 * The default initial capacity - MUST be a power of two.
 * 上面这句译文为:默认初始容量-必须是2的幂。
 */
static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // aka 16

如果参数不是2的指数次幂,那么在初始化的时候会进行强行转化;转化规则如下:
1)必须接近传入的参数;
2)必须大于或等于传入的参数;
3)必须是2的指数次幂
通常来说如果传入的参数是11,那么就会转换成16;

为什么必须是2的指数次幂呢?
由于Hash取值是通过位运算进行的;“2的指数次幂”这个规定就是为了让Hash位移运算之后散落的更加均匀及散列,减少Hash碰撞,而加入的干扰规则;

五、JDK1.7源码分析

5.1)构造方法

/**
 * Constructs an empty <tt>HashMap</tt> with the specified initial
 * capacity and load factor.
 *
 * @param  initialCapacity the initial capacity
 * @param  loadFactor      the load factor
 * @throws IllegalArgumentException if the initial capacity is negative
 *         or the load factor is nonpositive
 */
public HashMap(int initialCapacity, float loadFactor) {
    if (initialCapacity < 0)
        throw new IllegalArgumentException("Illegal initial capacity: " + initialCapacity);
    //数组长度也是有限制的,如果传入的容量长度大于1073741824(2的30次方)就默认使用1073741824
    if (initialCapacity > MAXIMUM_CAPACITY)
        initialCapacity = MAXIMUM_CAPACITY;
    if (loadFactor <= 0 || Float.isNaN(loadFactor))
        throw new IllegalArgumentException("Illegal load factor: " +
                                           loadFactor);
    this.loadFactor = loadFactor;
    threshold = initialCapacity;
    //空方法什么都没有做
    init();
}

5.2)put方法

这个方法中完成了数组的初始化、扩容等处理;

/**
 * Associates the specified value with the specified key in this map.
 * If the map previously contained a mapping for the key, the old
 * value is replaced.
 *
 * @param key key with which the specified value is to be associated
 * @param value value to be associated with the specified key
 * @return the previous value associated with <tt>key</tt>, or
 *         <tt>null</tt> if there was no mapping for <tt>key</tt>.
 *         (A <tt>null</tt> return can also indicate that the map
 *         previously associated <tt>null</tt> with <tt>key</tt>.)
 */
public V put(K key, V value) {
    /*
    * 这里的table属性就是HashMap中数组结构的成员属性;
    * 第一次调用的时候会对table进行初始化;
    */
    if (table == EMPTY_TABLE) {
        //这里开始初始化
        inflateTable(threshold);
    }
    if (key == null)
        return putForNullKey(value);
    //获取Key的HashCode
    int hash = hash(key);
    //获取数组中的索引
    int i = indexFor(hash, table.length);
    for (Entry<K,V> e = table[i]; e != null; e = e.next) {
        Object k;
        if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {
            V oldValue = e.value;
            e.value = value;
            e.recordAccess(this);
            return oldValue;
        }
    }
    modCount++;
    //Hash扩容处理
    addEntry(hash, key, value, i);
    return null;
}
/**
 * 初始化数组
 */
private void inflateTable(int toSize) {
    // 这里会对传入的容量值进行处理,如果不是2的指数次幂就会被强行转化
    int capacity = roundUpToPowerOf2(toSize);
    threshold = (int) Math.min(capacity * loadFactor, MAXIMUM_CAPACITY + 1);
    table = new Entry[capacity];
    initHashSeedAsNeeded(capacity);
}
/**
 * 对传入的数据容量值进行处理
 * 如果不是2的指数次幂就会被强行转化;
 * 转化规则如下:
 * 1)必须接近传入的参数;
 * 2)必须大于或等于传入的参数;
 * 3)必须是2的指数次幂
 * 通常来说如果传入的参数是11,那么就会转换成16;
 * “2的指数次幂”这个规定就是为了让Hash位移运算之后散落的更加均匀及散列,减少Hash碰撞,而加入的干扰规则;
 */
private static int roundUpToPowerOf2(int number) {
    // assert number >= 0 : "number must be non-negative";
    return number >= MAXIMUM_CAPACITY
            ? MAXIMUM_CAPACITY
            : (number > 1) ? Integer.highestOneBit((number - 1) << 1) : 1;
}
/**
 * 对Key数据进行Hash处理
 */
final int hash(Object k) {
    int h = hashSeed;
    if (0 != h && k instanceof String) {
        return sun.misc.Hashing.stringHash32((String) k);
    }
    h ^= k.hashCode();
    // 进行下面一堆装逼级转换,就是为了使Hash更加散列,减少Hash碰撞
    h ^= (h >>> 20) ^ (h >>> 12);
    return h ^ (h >>> 7) ^ (h >>> 4);
}
/**
 * 计算数组中对应的索引
 */
static int indexFor(int h, int length) {
    /*
    * 使用HashCode值与数组的长度,这里运算没有使用取模的原因是:取模效率远远低于位运算
    * 数组的长度为2的指数次幂,那么结果为:0000 0000 0000 1000 0000(后面全部都是0且只有一个1在任意未知)
    * HashCode的值是随机的,可能存在任何结果,例如:0001 0101 0001 0100 1111
    * 这里数组长度为什么要减1??????
    * 因为如果不减1,那么最后运算出来的结果不是数组长度就是0;最终导致只有数组的第一个位置与最后一个位置有值,其他的坑位没有任何东西,甚至有可能会导致数组下标越界;
    * 如果减1,那么最后运算的结果就是0-(数组长度-1)可以填充到数组的任意空间;
    */
    return h & (length-1);
}
/**
 * 对数组进行扩容处理
 */
void addEntry(int hash, K key, V value, int bucketIndex) {
    /*
    * threshold就是扩容的阈值,阈值=初始化时的数据长度*扩容因子(0.75);
    * size标识当前HashMap中存了多少element;
    * 扩容条件:
    * 数组中存放的element数量>=初始化时的数据长度*扩容因子(0.75)并且链表桶中的数据不为空的时候开始考虑扩容
    * 如果满足扩容条件并且开始扩容,扩容的容量为:原来的2倍,因为必须位置之前定义的2的指数次幂条件,使上下保持一致;
    */
    if ((size >= threshold) && (null != table[bucketIndex])) {
        //扩容处理,扩容原数组容量的2倍
        resize(2 * table.length);
        hash = (null != key) ? hash(key) : 0;
        bucketIndex = indexFor(hash, table.length);
    }
    createEntry(hash, key, value, bucketIndex);
}
/**
 * 扩容处理逻辑
 */
void resize(int newCapacity) {
    Entry[] oldTable = table;
    int oldCapacity = oldTable.length;
    if (oldCapacity == MAXIMUM_CAPACITY) {
        threshold = Integer.MAX_VALUE;
        return;
    }
    //初始新的数组
    Entry[] newTable = new Entry[newCapacity];
    //新数组与旧数组之间的转移核心逻辑
    transfer(newTable, initHashSeedAsNeeded(newCapacity));
    table = newTable;
    threshold = (int)Math.min(newCapacity * loadFactor, MAXIMUM_CAPACITY + 1);
}
/**
 * 扩容转移数据核心方法
 */
void transfer(Entry[] newTable, boolean rehash) {
    int newCapacity = newTable.length;
    //遍历数组中的所有元素
    for (Entry<K,V> e : table) {
        //转移不为空的元素
        while(null != e) {
            //将当前链表桶元素的下一节点进行指针引用到一个新的变量中;
            Entry<K,V> next = e.next;
            if (rehash) {
                //再一次进行Hash运算,扩容时效率第一,所以这里再一次是使用的位运算提高效率
                e.hash = null == e.key ? 0 : hash(e.key);
            }
            //下面的代码就是将老数组中的数据移动到新数组中;
            int i = indexFor(e.hash, newCapacity);
            //当前链表桶节点元素的下一个元素指向新数组中对应的位置
            e.next = newTable[i];
            //将元素转移到新的数组对应的位置中;
            newTable[i] = e;
            //获取到链表下一个节点
            e = next;
        }
        //完成整个链表桶的迁移,注意这时迁移完毕后,你会发现原本链表桶中的顺序颠倒了;
    }
}

5.3)死链问题——链表成环

在JDK1.7中Hash在多线程下会存在死链问题,下面将对这个死链现象进行阐述;

/**
 * 扩容转移数据核心方法,也是JDK1.7中出现死链的地方
 */
void transfer(Entry[] newTable, boolean rehash) {
    int newCapacity = newTable.length;
    //遍历数组中的所有元素
    for (Entry<K,V> e : table) {
        //转移不为空的元素
        while(null != e) {
            /*
            * 将当前链表桶元素的下一节点进行指针引用到一个新的变量中;
            * 这里设想一下多线程的场景,假设有2个线程都在进行操作且都在进行扩容;
            * 执行到下面这段代码的时候,假设线程2由于CPU时间片耗尽,而线程1在继续的执行会有什么样的结果呢;
            */
            Entry<K,V> next = e.next;
            if (rehash) {
                //再一次进行Hash运算,扩容时效率第一,所以这里再一次是使用的位运算提高效率
                e.hash = null == e.key ? 0 : hash(e.key);
            }
            //下面的代码就是将老数组中的数据移动到新数组中;
            int i = indexFor(e.hash, newCapacity);
            //当前链表桶节点元素的下一个元素指向新数组中对应的位置
            e.next = newTable[i];
            //将元素转移到新的数组对应的位置中;
            newTable[i] = e;
            //获取到链表下一个节点
            e = next;
        }
        //完成整个链表桶的迁移,注意这时迁移完毕后,你会发现原本链表桶中的顺序颠倒了;
    }
}

在单线程下这里的逻辑呈现为:
在多线程下表现的线程如下:

第一步:假设2个线程都执行到下面这段代码
Entry<K,V> next = e.next;

执行结果如下: 这是若线程1的CPU时间片耗尽或其他原因,释放了CPU的控制权(为啥会释放,什么是时间片,请看之前的文章),现在由线程2继续执行; 假设现在线程2执行完毕,线程1开始执行,那么就是结果如下:

  • 线程2执行完毕后线程1准备执行时
  • 线程1第二轮循环
  • 线程1第三轮循环
  • 线程1第四轮循环,执行“Entry<K,V> next = e.next;”的时候邪恶的事情发生了

这个时候如果你再插入数据且Hash后刚刚是这个死链的坑位,那么下面这段代码将永远成立,一直无休止的运行下去,直到老板亲自为问你,让周末去加班,或者老板直接约你去爬山;
for (Entry<K,V> e = table[i]; e != null; e = e.next) {

原因总结:
在多线程下扩容时没有进行锁及同步策略造成的,而且也与Java1.7中使用的头插法有一定关系(没有头插的概念就不可能存在迁移后下级Next指针重定义的问题);

六、JDK1.8优化

Java8 HashMap扩容跳过了Jdk7扩容的坑,对源码进行了优化,采用高低位拆分转移方式,避免了链表环的产生。 链表在长度达到一定值的时候就会转为红黑树;

//链表转红黑树的阈值
TREEIFY_THRESHOLD =8
//链表转红黑树时hash表最小容量阈值,达不到优先扩容。
MIN_TREEIFY_CAPACITY =64

在链表长度大于8,的时候开始准备转红黑树,注意:这里不是马上开始转;
最终转红黑树的条件为:链表长度大于8,数据的容量大于等于64;否则优先扩容;

//在JDK1.8的putVal方法中
if (binCount >= TREEIFY_THRESHOLD - 1) //这里就是大于等于8-1
    treeifyBin(tab, hash);
break;
/**
 * Replaces all linked nodes in bin at index for given hash unless
 * table is too small, in which case resizes instead.
 */
final void treeifyBin(Node<K,V>[] tab, int hash) {
    int n, index; Node<K,V> e;
    if (tab == null || (n = tab.length) < MIN_TREEIFY_CAPACITY)//这里就是小于64的时候
        //扩容方法
        resize();
    else if ((e = tab[index = (n - 1) & hash]) != null) {
        //这里就是转红黑树
        TreeNode<K,V> hd = null, tl = null;
        do {
            TreeNode<K,V> p = replacementTreeNode(e, null);
            if (tl == null)
                hd = p;
            else {
                p.prev = tl;
                tl.next = p;
            }
            tl = p;
        } while ((e = e.next) != null);
        if ((tab[index] = hd) != null)
            hd.treeify(tab);
    }
}

6.1)死锁问题的优化

/**
 * Initializes or doubles table size.  If null, allocates in
 * accord with initial capacity target held in field threshold.
 * Otherwise, because we are using power-of-two expansion, the
 * elements from each bin must either stay at same index, or move
 * with a power of two offset in the new table.
 *
 * @return the table
 */
final Node<K,V>[] resize() {
    Node<K,V>[] oldTab = table;
    int oldCap = (oldTab == null) ? 0 : oldTab.length;
    int oldThr = threshold;
    int newCap, newThr = 0;
    if (oldCap > 0) {
        if (oldCap >= MAXIMUM_CAPACITY) {
            threshold = Integer.MAX_VALUE;
            return oldTab;
        }
        else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                 oldCap >= DEFAULT_INITIAL_CAPACITY)
            newThr = oldThr << 1; // double threshold
    }
    else if (oldThr > 0) // initial capacity was placed in threshold
        newCap = oldThr;
    else {               // zero initial threshold signifies using defaults
        newCap = DEFAULT_INITIAL_CAPACITY;
        newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
    }
    if (newThr == 0) {
        float ft = (float)newCap * loadFactor;
        newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                  (int)ft : Integer.MAX_VALUE);
    }
    threshold = newThr;
    @SuppressWarnings({"rawtypes","unchecked"})
    Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
    table = newTab;
    if (oldTab != null) {
        for (int j = 0; j < oldCap; ++j) {
            Node<K,V> e;
            if ((e = oldTab[j]) != null) {
                oldTab[j] = null;
                if (e.next == null)
                    newTab[e.hash & (newCap - 1)] = e;
                else if (e instanceof TreeNode)
                    ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                else { // preserve order
                    //定义地位指针
                    Node<K,V> loHead = null, loTail = null;
                    //定义高位指针
                    Node<K,V> hiHead = null, hiTail = null;
                    Node<K,V> next;
                    /*
                    * 下面就是扩容的逻辑
                    * 头插法已经被废弃,取而代之的是高低位算法
                    * 迁移时,先判断当前节点的Hash值与老数据的容量(默认:16)得出:0或数组容量,0就是低位,数据容量就是高位;
                    * 0001 0101 1111 01010 1111 & 0001 0101 1111 01010 00000
                    * 
                    */
                    do {
                        next = e.next;
                        if ((e.hash & oldCap) == 0) {
                            //设置为低位指针
                            if (loTail == null)
                                loHead = e;
                            else
                                loTail.next = e;
                            loTail = e;
                        }
                        else {
                            //设置为高位指针
                            if (hiTail == null)
                                hiHead = e;
                            else
                                hiTail.next = e;
                            hiTail = e;
                        }
                    } while ((e = next) != null);
                    if (loTail != null) {
                        loTail.next = null;
                        //低位移动到新数组中同样的位置
                        newTab[j] = loHead;
                    }
                    if (hiTail != null) {
                        hiTail.next = null;
                        // 移到老数组位置+老数组容量=新数组中的位置
                        newTab[j + oldCap] = hiHead;
                    }
                }
            }
        }
    }
    return newTab;
}

步骤:

  • 在原始数组上进行高低位运算;
  • 将原始数据上的链表根据高低位拆分为2个链表;
  • 将低位链表移到新数组对应的坑位中;
  • 将高位链表移到新数组(原链表所在的老数组坑位下标+老数组长度)对应过的坑位中,中间省掉了运算过程;

    注意:只有在数组长度为2的幂次方的情况下上述的过程永远成立,否则永远不对;