本文已参与新人创作礼活动,一起开启掘金创作之路。
ConcurrentHashMap整体结构
ConcurrentHashMap的数据结构与HashMap差不多,都是Node数组+红黑树+链表,ConcurrentHashMap中table的节点类型有3类,在put值时会根据table中node的hash判断节点的类型;
- hash>=0,是Node节点;
- hash=-2是TreeBin,表示该table元素是红黑树的节点;
- hash=-1是ForwardingNode;容器正在扩容
- hash = -3是ReservationNode,在调用computeIfAbsent方法时可能会使用的占位对象(本文不讨论computeIfAbsent方法,因此只关注前三种对象)
ConcurrentHashMap和HashMap的put值过程有些类似,ConcurrentHashMap的结构也是table + 链表+ 红黑树;在put值时,锁粒度是table的元素;也就是说,当put值时定位到table的第 i 个元素,那么就会给table[i]上锁;其他线程在put值时也定位到 i 时就需要等待获取锁;如果是其他位置则不需要等待锁,可以进行put操作。
下面具体分析ConcurrentHashMap的put值过程
1.计算hash值
ConcurrentHashMap在put值的时候会计算key的hash值,和HashMap类似;在ConcurrentHashMap计算hash值的是spread方法
public V put(K key, V value) {
return putVal(key, value, false);
}
||
||
\/
final V putVal(K key, V value, boolean onlyIfAbsent) {
if (key == null || value == null) throw new NullPointerException();
int hash = spread(key.hashCode());
..
..
..
}
||
||
\/
static final int spread(int h) {
return (h ^ (h >>> 16)) & HASH_BITS;
}
HASH_BITS = 0x7fffffff;(最大整数)
- 获取key的hashcode
- 利用hashcode的高16位与低16位做" ^ "位运算,让高位也参与位运算,增加离散型。
- 再与HASH_BITS位运算,这是int最大正整数:最高位为0,其余位置为1,用来与hash值做 " & "运算;得到的结果保证最高位为0,其余位置不变;这样就保证得到的hash值是一个非负数; 举个例子:
2.initTable
在put值时有几个判断,与HashMap类似
- 判断table是否已经初始化了;如果是没有初始化,就会先初始化table,再往table中添加值;
- 根据hash值,计算出key-value在table的位置i,判断table[i]是否已经插入了值;如果没有插入值,就将该key-value插入到table[i]中;
- 判断table[i]的hash值是否是MOVE,如果是MOVE表示正在扩容(ForwardingNode的hash值就是MOVE),需要该线程帮忙将旧容器的值移动到新容器中
- 将key-value插入到链表或者红黑树中
- 判断是否需要扩容
2.1初始化table
因为是多线程环境,就需要考虑到如果有多个线程同时初始化table的情况;假如现在有三个线程:A,B,C同时判断到table == null。这个时候三个线程都会同时试图来初始化table,如果一个线程抢先修改了sizeCtl,他就可以初始化table,其余线程只需要等待初始化完成即可;
final V putVal(K key, V value, boolean onlyIfAbsent) {
if (key == null || value == null) throw new NullPointerException();
int hash = spread(key.hashCode());
int binCount = 0;
for (Node<K,V>[] tab = table;;) {
Node<K,V> f; int n, i, fh;
if (tab == null || (n = tab.length) == 0)
tab = initTable();
..
..
..
||
||
\/
/**
* Initializes table, using the size recorded in sizeCtl.
*/
private final Node<K,V>[] initTable() {
Node<K,V>[] tab; int sc;
while ((tab = table) == null || tab.length == 0) {
if ((sc = sizeCtl) < 0)//有线程在初始化table,就让出cpu,等待table初始化就行;
Thread.yield(); // lost initialization race; just spin
else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {//修改sizeCtl的值,sizeCtl=-1
try {
if ((tab = table) == null || tab.length == 0) {
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = tab = nt;
sc = n - (n >>> 2);
}
} finally {
sizeCtl = sc;
}
break;
}
}
return tab;
}
- 1.sizeCtl判断是否已经有线程初始化table,如果sizeCtl=-1,表示已经有线程对table初始化;这个时候会调用yield()让出cpu执行权
- 2.通过CAS修改sizeCtl=-1,初始化table
这段代码,有意思的是进入到初始化table的分支时try{}finally{}代码块还要判断table==null,为什么呢?
可能是对应这样一个场景:现在有 A ,B,C三个线程都判断table=null进入到initTable,A,B线程先获取到sizeCtl =0,此时A抢先修改到sizeCtl =-1开始初始化,而B线程修改失败,再次通过循环获取sizeCtl =-1,调用yield()放弃cpu执行权,等待A线程初始化table;A线程初始化完成之后修改sizeCtl 的值,修改后的sizeCtl >0;
而C线程比A,B线程慢一点,当C线程获取到sizeCtl的值时,A线程已经完成了table的初始化sizeCtl >0,C线程获取到的sc=sizeCtl >0,因此不会进入到休眠状态,会尝试修改sizeCtl 的值,这个时候没有其他线程竞争修改值,因此会修改成功;又会将sizeCtl 的值修改为 -1 ,【此时:sc=A线程初始化之后sizeCtl 的值;sizeCtl =-1】
进入到try代码块,判断table!=null,不会再重新初始化table,进入finally块,sizeCtl =sc;将sizeCtl 的值还原到A线程初始化时候的值;
添加的table=null的判断保证了只会有一个线程能初始化table;
流程:
2.2 关于CAS
上面在多线程中竞争修改sizeCtrl的值没有使用synchronized,而是使用了Unsafe类的compareAndSwapInt也就是CAS;
U.compareAndSwapInt(object,offset,value,update);
||
||
||
\/
U.compareAndSwapInt(this, SIZECTL, sc, -1);
看到这四个参数或许会感到有些蒙;这涉及到Java的实例对象在内存是如何存储的; Java对象有三部分:
- 头信息(hash,gc年龄,lock标志位,指向class对象的指针)
- 实例数据,也就是成员变量
- 填充对齐;(这部分不是必须的;如果:头信息+实例数据的字节数不是8的倍数,这个时候会填充字节让其满足8的倍数;)
下面用一个简单的图演示下:
在这个例子中,对象头+三个属性字段的字节数:24字节;刚好8的倍数,因此不用填充数据;从对象的内存布局,我们可以根据对象和对象属性的偏移量offset确定该对象的属性值存储位置;
了解对象的布局,再来看上面的方法:U.compareAndSwapInt(object,offset,value,update); 就很容易理解了; 举个例子:
U.compareAndSwapInt(user,12,34,48);
对象user+offset 定位到user对象的id字段;
value = 34,update =48;
通过上面的定位,取到user对象的id值与value(34)比较;
如果相等,就将user对象的id字段的值改为update(48);不相等,就不修改;
回到源码:
U.compareAndSwapInt(this, SIZECTL, sc, -1);
this:是ConcurrentHashMap对象
SIZECTL:SIZECTL = U.objectFieldOffset(k.getDeclaredField("sizeCtl"));===>获取到变量:sizeCtl的偏移量offset
上面的代码:sc与sizeCtl比较,如果相等就将sizeCtl的值修改为-1;
2.3思考
在try代码块中判断table是否已经初始化保证了只有一个线程能初始化table,这个和DCL(双重检测枷锁,差不多);这段代码能修改吗?:
if ((sc = sizeCtl) < 0)
Thread.yield();
||
||
||
\/
if ((sc = sizeCtl) != 0)
Thread.yield();
因为只要sizeCtl != 0,就说明已经有线程在初始化table,其余线程都可以等待带线程初始化完成,这样当线程获初始化table的时就不用再判断table是否为null了,因为只能有一个线程能进入这个分支,对table进行初始化;
这样看起来似乎没什么问题,但是忽略了一个问题,在ConcurrentHashMap的构造对象中有一个构造方法可以指定初始容量,而保存初始容量的变量就是sizeCtl ,也就是说如果指定了初始容量sizeCtl 值就 大于0;而指定初始容量时并不会初始化一个数组;因此不能修改成:(sc = sizeCtl) != 0,如果修改成这样,那么在指定初始容量之后,所有线程都不能初始化table了; 同时也可以看到在初始化时利用了sizeCtl的值:
try {
if ((tab = table) == null || tab.length == 0) {
//sc是sizeCtl修改之前的值,如果指定了容量,那么值就保存在sizeCtl中;
//这里的(sc > 0),这个判断其实就是判断在创建ConcurrentHashMap时有没有指定初始容量;指定了就用指定的容量;
//没有指定容量就用默认值:DEFAULT_CAPACITY
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;//DEFAULT_CAPACITY=16;
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = tab = nt;
sc = n - (n >>> 2);//sc = (3/4)*n
}
} finally {
sizeCtl = sc;//sizeCtl 扩容阈值 sizeCtl = 0.75 * n
}
break;
3.通过hash值定位key-value位置
else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
if (casTabAt(tab, i, null,
new Node<K,V>(hash, key, value, null)))
break; // no lock when adding to empty bin
}
这个分支其实就是判断table[i] = null,就将key-value值包装程成Node对象,放到table[i]中即可;
- i = (n - 1) & hash;与HashMap一样,定位存储下标,因为使用了 & 运算,因此要求table的容量n一定是2的幂次倍;
- casTabAt()将hash-key-value包装成node添加到table中,添加成功:返回true,进入分支break,结束put操作;不成功:进入下一次循环,继续put操作直到成功为止;
上面的casTabAt也使用到了Unsafe类的CAS方法,不再分析;简单说下定位 i 的计算;这个和hashMap中定位i的计算一样;正是因为使用了 & 这种位运算导致n的大小必须是2的幂次倍;否则会浪费table的存储空间,也会造成链表的长度快速增长;
2n - 1 的数字二进制数有一个特点:从最高位为1的位置 -> 最低位的每个位置都是1;这样与hash值做 & 运算时的结果取值范围[0,2n -1]的每一个数都能取到;反之,如果table的长度len不是2n ,那么(len - 1)的二进制从最高位到最低位之间肯定有些位置的值为:0;导致(len-1) & hash的结果取值只会是[0,len -1]之间的部分数字,这样会使table的下标中有一些下标永远也获取不到,这就造成了这些位置的浪费;
table长度为:2n
table长度不是: 2n
从上面举得2个例子就可以看出,table的长度是必须为2的次幂倍;否则会浪费掉大量的存储空间,同时可能会造成put,get效率降低;
4.判断ConcurrentHashMap是否正在扩容
else if ((fh = f.hash) == MOVED)
tab = helpTransfer(tab, f);
在上一个分支,如果table[i] != null,就会在接下来的分支中,首先通过node节点的hash值判断,table是否处于扩容状态,如果是扩容状态: hash == MOVE; 当判定在扩容时,会要求这个线程帮忙完成扩容:
final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
Node<K,V>[] nextTab; int sc;
if (tab != null && (f instanceof ForwardingNode) &&
(nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) {
int rs = resizeStamp(tab.length);
while (nextTab == nextTable && table == tab &&
(sc = sizeCtl) < 0) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || transferIndex <= 0)
break;
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
transfer(tab, nextTab);
break;
}
}
return nextTab;
}
return table;
}
扩容暂时在这里不分析,在后面会讲到;因为扩容是添加node导致,在添加元素之后会判断是否需要扩容;在前面提到过,在扩容时会产生:ForwardingNode;它的hash值就是MOVE(-1);由于扩容实在太复杂,并且扩容的原因并不在这里;扩容触发条件是添加node之后size到达扩容阈值触发扩容;因此把扩容的部分放在最后;(PS:扩容比较复杂,一直纠结这部分代码,容易引发头晕症状,还是继续下面简单的代码吧。。。。。。 )
5. 判断节点的类型,并添加节点;
判断节点类型,并添加值:
- 如果是链表,就将值打包成Node,添加到链表中;
- 如果是红黑树,就将值打包成TreeNode添加到红黑树中;
这个过程和 HashMap一样;唯一的区别是,在多线程环境下,在确定table的下标之后,会获取table[i]对象的锁,只能有一个线程在table[i]所在的链表或者红黑树put值;其他线程要在table[i]中put值需要等待获取锁;
// f = tabAt(tab, i = (n - 1) & hash)
else {
V oldVal = null;
synchronized (f) {//获取table[i]的对象锁
if (tabAt(tab, i) == f) {//判断是否被修改
if (fh >= 0) {//根据node的hash值判断是链表还是红黑树
binCount = 1;
for (Node<K,V> e = f;; ++binCount) {
K ek;
// 已经存在key,更新val,返回旧value
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
oldVal = e.val;
if (!onlyIfAbsent)
e.val = value;
break;
}
Node<K,V> pred = e;
// key在链表中不存在,将key-value打包成Node插入到链表表尾
if ((e = e.next) == null) {
pred.next = new Node<K,V>(hash, key,
value, null);
break;
}
}
}
else if (f instanceof TreeBin) {//红黑树
Node<K,V> p;
binCount = 2;
if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
value)) != null) {
oldVal = p.val;//p !=null ,说明在红黑树中已经存在key,只是更新了value;
if (!onlyIfAbsent)
p.val = value;
}
}
}
}
if (binCount != 0) {
if (binCount >= TREEIFY_THRESHOLD)
treeifyBin(tab, i);
if (oldVal != null)
return oldVal;
break;
}
}
}
为了更好的看清上面代码的整体逻辑,去掉部分代码,留下一个大的框架:
//当有一个线程 : A ,锁定table[i]时,其余线程如果也是锁定这个位置,就必须等A线程,put完成之后;
//获取到table[i]的锁,才能在这个位置put值;
synchronized (f) {
//判断节点没有变动;如果变动了,就计入下一次循环;
//f发生改变的几种情况:
//1:有可能链表变成红黑树,
//2:可能容器在扩容;
//3:如果其他线程在之前进行了remove操作,导致f被删除,这种情况也不能直接put;
//还有一种情况:就是key-value的值被修改,这种情况对下一个线程put值没有影响;
//因此可以看到在很多地方,对节点进行操作前,都会先判断节点有没有改变;
if (tabAt(tab, i) == f) {
if(fh>=0){
binCount=1;
链表,会将新node添加到链表末尾,在这个过程中binCount会记录链表的长度,用来判断是否需要将链表修改为红黑树;
还有一种情况是这个key已经存在,就直接更新value;
}else if(f instanceof TreeBin){
binCount=2;
红黑树,这里的binCount就是只用来表示该线程抢到锁,已经put值了;
}
}
}
//说明已经添加了node;binCount=0是因为线程没有put值,
//f已经被其他线程删除,或者是正在扩容,或者是由链表改成了红黑树。。
if (binCount != 0) {
if (binCount >= TREEIFY_THRESHOLD)//这里是用来判断链表需不需要改成红黑树;
treeifyBin(tab, i);
if (oldVal != null)//key已经存在了,会将value更新;并返回旧值oldValue
return oldVal;
break;
}
流程:
5.1表转换成红黑树
上面流程图中判断:f是TreeBin对象时表示红黑树节点;但红黑树的节点是由TreeNode保存;那么在链表转换成红黑树的转换过程是什么?
在上述流程图中,可以看到链表转换成红黑树是由treeifyBin方法中进行的;treeifyBin的流程
- 判断table长度;如果len < 64,就将容器扩大2倍;
- len>=64;先将Node链表 -> TreeNode双向链表;再生成一个TreeBin对象放在table中;TreeBin的hash=-2;TreeBin的构造方法中将:链表 -> 红黑树;并且这个TreeBin对象包含链表转换前的头节点,以及转换后红黑树的根节点;
关于红黑树的生成不再分析。。。。。 【后续更新RBT原理及代码 (BST,AVL ,红黑树(RBT)】
6.addCount;
这段代码在多线程环境下计数,并判断是否需要扩容。这部分代码实在太多,首先是在多线程环境下如何计数?再一个就是多线程如何扩容?后续再分析吧。
6.1 ConcurrentHashMap多线程计数原理
先说下多线程计数的原理吧,这里没有直接使用CAS来更新size的值;是为什么呢?
先来看下使用直接使用CAS有什么利弊?
在多线程环境下,直接使用单一变量用CAS更新size虽然可以保证数据的正确性,但是效率不高;如果线程竞争比较激烈多个线程同时更改size,就需要多个线程排队更改值;可以看到并发特别高的话,这样的做法效率就不高了,会让其他线程消耗cpu做空循环,占用了cpu又没做事;
因此,ConcurrentHashMap采用了另一种高效的做法;设计了一种数据结构:基础值 + 数组;
int baseCount;
CounterCell[] counterCells;
@sun.misc.Contended static final class CounterCell {
volatile long value;
CounterCell(long x) { value = x; }
}
如果是多个线程同时put值需要更新size,进入到addCount中;这个时候仍然会先使用CAS更新baseCount,但是只有一个线程能更新成功;其余线程会分别将值更新到counterCells,如下图:
这就是ConcurrentHashMap在多线程环境下更新size的方法;相比直接使用CAS对一个变量更新,这种方法显然更高效;
ConcurrentHashMap的更新size的大体原理就是这样,但细节处有所不同;CounterCells数组是一个懒加载,也就是说,没有多个线程同时竞争修改baseCount时,不会生成CounterCells数组,直接用CAS修改baseCount;当有多个线程竞争修改baseCount时才会生成CounterCells数组,每个线程在各自的CounterCell中计数互不干扰;
这里说明一下,即使生成了CounterCells数组,也不会立即将CounterCells数组中所有元素都初始化一个CounterCell对象;ConcurrentHashMap的设计突出一个懒加载,生成数组时的策略是这样,生成在CounterCell对象时也是需要用到时才生成CounterCell对象用于处理线程的计数;
6.2 addCount的计数部分
addCount源码:
private final void addCount(long x, int check) {
CounterCell[] as; long b, s;//b=baseCount,s = size;
/**
case 0:
如果生成了counterCells数组,就直接通过线程定位到cell,在其中累加值;
case 1:
如果counterCells没有初始化(没有生成counterCells数组)就通过CAS更新baseCount的值;
case 2:
counterCells==null && 更新baseCount的值失败; 一定有其他线程同时竞争更改baseCount的值,这个时候会生成
counterCells数组;让更新失败的线程,在counterCells数组中更新累加;
**/
if ((as = counterCells) != null ||
!U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) {
CounterCell a; long v; int m;
boolean uncontended = true;
/**
1.as == null || (m = as.length - 1) < 0 ===> counterCells还没有初始化,说明是通过CAS更改baseCount失败从而进入
到该分支,这个时候会进入到fullAddCount中具体操作;
2. (a = as[ThreadLocalRandom.getProbe() & m]) == null ;
说明已经初始化了counterCells;
【ThreadLocalRandom.getProbe() & m】通过线程私有的Random随机数生成器生成的随机数来确定处理线程的CounterCell;
最后得到的处理对象:a==null,说明counterCells[i]==null没有对象;进入fullAddCount中累加;
3. 如果a != null,则用CAS来修改CounterCell中value的值;如果CAS修改失败,进入fullAddCount中处理;
**/
if (as == null || (m = as.length - 1) < 0 ||
(a = as[ThreadLocalRandom.getProbe() & m]) == null ||
!(uncontended =
U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
fullAddCount(x, uncontended);
return;
}
if (check <= 1)
return;
s = sumCount();
}
*******************************************************************************************
//扩容部分暂且省略。
}
流程图:
6.3 多线程计数的核心fullAddCount
上图中可以看到,fullAddCount是核心方法,很多分支都会经过这个方法;关于cunterCells数组的初始化,扩容,以及cunterCell计数都在这里面; 在看fullAddCount方法之前简单介绍fullAddCount处理的流程:
- 判断counterCells数组是否为空
- counterCells为空,初始化counterCells数组;并生成CounterCell对象用于计数;
- counterCells不为空,获取到CounterCell对象计数;如果对象为空,new一个对象来处理;如果计数失败,说明有多个线程在使用同一个CounterCell对象计数;这个时候将会扩容counterCells数组;(扩容长度最大到cpu的个数不再扩容)扩容之后再定位处理线程的计数;
下图是fullAddCount简易流程图:
fullAddCount源码:
private final void fullAddCount(long x, boolean wasUncontended) {
int h;
if ((h = ThreadLocalRandom.getProbe()) == 0) {
ThreadLocalRandom.localInit(); // force initialization
h = ThreadLocalRandom.getProbe();
wasUncontended = true;
}
boolean collide = false; // True if last slot nonempty
for (;;) {
CounterCell[] as; CounterCell a; int n; long v;
if ((as = counterCells) != null && (n = as.length) > 0) {
if ((a = as[(n - 1) & h]) == null) {
if (cellsBusy == 0) { // Try to attach new Cell
CounterCell r = new CounterCell(x); // Optimistic create
if (cellsBusy == 0 &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
boolean created = false;
try { // Recheck under lock
CounterCell[] rs; int m, j;
if ((rs = counterCells) != null &&
(m = rs.length) > 0 &&
rs[j = (m - 1) & h] == null) {
rs[j] = r;
created = true;
}
} finally {
cellsBusy = 0;
}
if (created)
break;
continue; // Slot is now non-empty
}
}
collide = false;
}
else if (!wasUncontended) // CAS already known to fail
wasUncontended = true; // Continue after rehash
else if (U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))
break;
else if (counterCells != as || n >= NCPU)
collide = false; // At max size or stale
else if (!collide)
collide = true;
else if (cellsBusy == 0 &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
try {
if (counterCells == as) {// Expand table unless stale
CounterCell[] rs = new CounterCell[n << 1];
for (int i = 0; i < n; ++i)
rs[i] = as[i];
counterCells = rs;
}
} finally {
cellsBusy = 0;
}
collide = false;
continue; // Retry with expanded table
}
h = ThreadLocalRandom.advanceProbe(h);
}
else if (cellsBusy == 0 && counterCells == as &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
boolean init = false;
try { // Initialize table
if (counterCells == as) {
CounterCell[] rs = new CounterCell[2];
rs[h & 1] = new CounterCell(x);
counterCells = rs;
init = true;
}
} finally {
cellsBusy = 0;
}
if (init)
break;
}
else if (U.compareAndSwapLong(this, BASECOUNT, v = baseCount, v + x))
break; // Fall back on using base
}
}
保留代码整体框架,省略掉部分代码:
private final void fullAddCount(long x, boolean wasUncontended) {
int h;
//每一个线程都可以通过ThreadLocalRandom,生成一个随机数,用来确定数组下标;
if ((h = ThreadLocalRandom.getProbe()) == 0) {
ThreadLocalRandom.localInit(); // force initialization
h = ThreadLocalRandom.getProbe();
wasUncontended = true;
}
for (;;) {
CounterCell[] as; CounterCell a; int n; long v;
if ((as = counterCells) != null && (n = as.length) > 0) {
数组非空的处理逻辑;
}
/**
*
*初始化counterCells数组
*和initTable差不多,通过一个标志cellsBusy 的状态 来确定,有没有 线程初始化counterCells 数组
*
**/
else if (cellsBusy == 0 && counterCells == as &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
boolean init = false;
try { // Initialize table
if (counterCells == as) {//判断是否已经初始化,因为cellsBusy 的状态会还原到0;
CounterCell[] rs = new CounterCell[2];//length = 2,从2开始。每次扩容都增加一倍;
rs[h & 1] = new CounterCell(x);// h & (n-1) = h & 1;定位下标;new对象累加值;
counterCells = rs;
init = true;
}
} finally {
cellsBusy = 0;//状态还原
}
if (init)
break;
}
//当多个线程同时初始化counterCells 时,通过CAS竞争只有一个线程成功获取到初始化的权力,初始化数组;
//其余没有初始化数组的线程进入这个分支,尝试更新baseCount;没有成功进入下一次循环继续尝试累加。
else if (U.compareAndSwapLong(this, BASECOUNT, v = baseCount, v + x))
break; // Fall back on using base
}
}
counterCells 数组非空时的处理逻辑源码: counterCells 数组非空时处理过程的简易流程图:
//通过h(线程生成的随机数)定位到数组下标,获取CounterCell 对象,为空就生成一个对象;
if ((a = as[(n - 1) & h]) == null) {
if (cellsBusy == 0) { // Try to attach new Cell
CounterCell r = new CounterCell(x); // Optimistic create
//cellsBusy == 0,没有线程在修改counterCells数组,线程通过CAS修改cellsBusy 的值修改成功;
//线程获取到修改权
if (cellsBusy == 0 &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
boolean created = false;
try { // Recheck under lock
CounterCell[] rs; int m, j;
if ((rs = counterCells) != null &&
(m = rs.length) > 0 &&
rs[j = (m - 1) & h] == null) {//将生成的CounterCell对象给counterCells数组赋值;
rs[j] = r;
created = true;
}
} finally {
cellsBusy = 0;
}
if (created)//累加值成功,退出;
break;
continue; //累加值失败,下一次循环继续尝试累加值;
}
}
collide = false;
}
//在addCount中,CAS竞争修改CounterCell对象的value值,失败进入这个方法的;wasUncontended=false;
//如果下一轮CAS竞争失败,最后重新生成一个随机数;重新定位;
else if (!wasUncontended) // CAS already known to fail
wasUncontended = true; // Continue after rehash
//CAS修改value值,成功退出循环;竞争失败,可能触发扩容
else if (U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))
break;
//n >= NCPU 数组长度 大于等于cpu个数时,不再扩容;
else if (counterCells != as || n >= NCPU)
collide = false;
else if (!collide)
collide = true;
else if (cellsBusy == 0 &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {//线程CAS修改cellsBusy 的值成功,获取到扩容权限
try {
if (counterCells == as) {// Expand table unless stale
CounterCell[] rs = new CounterCell[n << 1];//n << 1;扩大2倍;
for (int i = 0; i < n; ++i)
rs[i] = as[i];//将原数组的值拷贝到新数组
counterCells = rs;
}
} finally {
cellsBusy = 0;//重新设置为0;
}
collide = false;
continue; // Retry with expanded table
}
//重新生成一个随机数,再定位一个位置;
//可能是线程CAS修改值失败;
//或者是new CounterCell对象时,CAS竞争失败;
//竞争扩容失败
//都会重新生成一个h,重新定位到数组的其他位置尝试累加值;
h = ThreadLocalRandom.advanceProbe(h);
总结:
fullAddCount简略流程图:
fullAddCount完整详细的流程图:
6.3.1为什么在线程在使用CounterCell对象计数时还是要使用CAS来更新值呢?
原因有以下2点:
- 在counterCells数组长度大于并发线程个数时:两个线程生成的随机数h不同,但是有可能定位到数组的同一个下标;这个时候如果两个线程同时进入到fullAddCount更新size就会产生冲突;这个情况下,要判断数组长度是否小于cpu个数;如果小于cpu个数首先尝试扩容;扩容失败时,线程会重新产生一个随机数,来获取一个新的下标解决冲突问题;
- 在counterCells数组长度小于并发线程个数时;必然造成多个线程同时使用一个CounterCell;会通过扩容来解决冲突;(这种情况,必定是数组长度小于cpu个数)
6.3.2ConcurrentHashMap获取size
ConcurrentHashMap不是直接通过获取一个变量来获取size的;因为记录的方法:维护一个变量 baseCount + CounterCell数组;因此在获取size时,需要将counterCells数组中value的值累加,再加上 baseCount; 获取size的方法源码:
public int size() {
long n = sumCount();
return ((n < 0L) ? 0 :
(n > (long)Integer.MAX_VALUE) ? Integer.MAX_VALUE :
(int)n);//size超过int类型的范围,返回Integer.MAX_VALUE;没超过:long -> int;返回原值
}
final long sumCount() {
CounterCell[] as = counterCells; CounterCell a;
long sum = baseCount;
if (as != null) {//counterCells数组不为空,就累加counterCells数组的每一个CounterCell对象中value值;
for (int i = 0; i < as.length; ++i) {
if ((a = as[i]) != null)
sum += a.value;
}
}
return sum;
}
size的计算公式:
size = + baseCount
7 ConcurrentHashMap扩容
宕机。待续。。
在ConcurrentHashMap中,扩容是由多个线程同时参与的,这样会比较高效的完成数据的迁移。但这样就会有比较多的难点:
- 多线程下,在扩容时保证只能一个线程创建新容器;
- 多线程数据迁移时,如何协作多个线程同时迁移数据?
在addCount方法中,更新元素个数之后,得到元素个数size与扩容阈值sizeCtrl比较;size >= sizeCtrl && len < 最大容量值MAXIMUM_CAPACITY会扩容; 源码:
//s:元素个数,sc = sizeCtl,n = table.length
if (check >= 0) {
Node<K,V>[] tab, nt; int n, sc;
// size >= sizeCtrl && len < 最大容量值MAXIMUM_CAPACITY 就会触发扩容;
while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
(n = tab.length) < MAXIMUM_CAPACITY) {
int rs = resizeStamp(n);
if (sc < 0) {//当已经有线程扩容的时候,后进入的线程会看到sc(sizeCtrl ) < 0;
//这部分判断条件,直接看是看不懂的,必须对整个扩容操作过一遍才能搞懂这些变量是做什么的。
//这个分支,表示不用线程协助扩容;
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)
break;
//这个分支是表示需要线程协助扩容时,会进入的分支;
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
transfer(tab, nt);
}
//这个分支是刚开始扩容时,新建数组时会进入这个分支;
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
transfer(tab, null);
s = sumCount();
}
}
对put的分析到此结束;关于扩容方法transfer的分析,以及在扩容前的判断条件的分析会在下一篇文章中具体分析。。。
sizeCtrl在ConcurrentHashMap中的多个地方出现,并且含义各不相同,做一个总结:
- 在创建ConcurrentHashMap对象时指定了容量大小,会将这个值存储在sizeCtrl中;(容量值会被tableSizeFor 修正为:2^n^,然后存入sizeCtrl)
- 在初始化数组时,会将sizeCtrl的值设为负数表示有线程在初始化数组;
- 在扩容时,将sizeCtrl的值设置为负数,表示有线程在创建扩容后的数组;
- 在初始化或扩容完成后,将szieCtrl的值设置为:0.75 * n;用做扩容阈值
后续更新:ConcurrentHashMap(JDK1.8)的扩容方法transfer的源码分析
参考文章: