GPM模型 | 青训营笔记

183 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 2 天

GPM模型介绍

G: 表示Goroutine,每个Goroutine对应一个G结构体,G存储Goroutine的运行堆栈、状态以及任务函数,可重用。G运行队列是一个栈结构,分全局队列和P绑定的局部队列,每个G不能独立运行,它需要绑定到P才能被调度执行。

P: Processor,表示逻辑处理器, 对G来说,P相当于CPU核,G只有绑定到P(在P的local runq中)才能被调度。对M来说,P提供了相关的执行环境(Context),如内存分配状态(mcache),任务队列(G)等,P的数量决定了系统内最大可并行的G的数量(前提:物理CPU核数 >= P的数量),P的数量由用户设置的GOMAXPROCS决定,但是不论GOMAXPROCS设置为多大,P的数量最大为256。

M: Machine,系统物理线程,代表着真正执行计算的资源,在绑定有效的P后,进入schedule循环;而schedule循环的机制大致是从Global队列、P的Local队列以及wait队列中获取G,切换到G的执行栈上并执行G的函数,调用goexit做清理工作并回到M,如此反复。M并不保留G状态,这是G可以跨M调度的基础,M的数量是不定的,由Go Runtime调整,为了防止创建过多OS线程导致系统调度不过来,目前默认最大限制为10000个。

G和M的关系:G是要执行的逻辑,M是具体执行G的逻辑,通过P建立G和M的联系从而执行

G和P的关系:P是G的管理者,P将G交由M执行,并管理一定系统资源供G使用,一个P管理存储在其本地队列的所有G。P和G是1:n的关系

P和M的关系:P和M是1:1的关系。P将管理的G交由M具体执行,当遇到阻塞时,P可以与M解绑,并找到空闲的M进行绑定继续执行队列中其他可执行的G

image.png

GPM模型调度

Go调度器的工作流程

  1. go关键字创建goroutine(G),优先加入某个P维护的局部队列(当局部队列已满时才加入全局队列);
  2. P需要持有或者绑定一个M,而M会启动一个系统线程,不断的从P的本地队列取出G并执行;
  3. M执行完P维护的局部队列后,它会尝试从全局队列寻找G,如果全局队列为空,则从其他的P维护的队列里窃取G到自己的队列;
  4. 重复以上直到所有的G执行完毕。

Goroutine阻塞

当遇到阻塞时,Go调度器有相应的处理方式

1.系统调度引起阻塞: 如系统GC,M会解绑P,出让控制权给其他M,让该P维护的G运行队列不至于阻塞。

2.用户态的阻塞: 当goroutine因为管道操作或者系统IO、网络IO而阻塞时,对应的G会被放置到某个等待队列,该G的状态由运行时变为等待状态,而M会跳过该G尝试获取并执行下一个G,如果此时没有可运行的G供M运行,那么M将解绑P,并进入休眠状态;当阻塞的G被唤醒时,如管道通知,G又被标记为可运行状态,尝试加入所在P局部队列的队头,然后再是全局队列。

3.当存在空闲的P时,窃取其他队列的G: 当P维护的局部队列全部运行完毕,它会尝试在全局队列获取G,直到全局队列为空,再向其他局部队列窃取G

为什么需要P

image.png 假如没有P,不同的G在M上并发运行时可能都需向系统申请资源(如堆内存),由于资源是全局的,将会由于资源竞争造成很多系统性能损耗。而让P去管理G对象,M要想运行G必须先与一个P绑定,然后才能运行该P管理的G。P对象中预先申请一些系统资源作为本地资源,G需要的时候先向自己的P申请(无需锁保护),如果不够用或没有,再向全局申请。而且从全局拿的时候会多拿一部分,以供后面高效的使用。

GM模型缺点总结:

  1. 创建、销毁、调度G需要每个M获取锁,这就形成了激烈的锁竞争
  2. M转移G会造成延迟和额外的系统负载。比如当G中包含创建新协程的时候,M创建了G’,为了继续执行G,需要把G’交给M’执行,也造成了很差的局部性,因为G’和G是相关的,最好放在M上执行,而不是其他M'。
  3. 系统调用(CPU在M之间的切换)导致频繁的线程阻塞和取消阻塞操作增加了系统开销。而使用P之后不需要频繁的系统调用,一个P上面有很多G,都在一个M上运行,减少了M切换带来的开销。