内存管理(一)—— 传统物理内存分配管理方式

146 阅读26分钟

1. 连续分配管理方式

传统物理内存的分配和回收分为两种方式:连续分配管理方式非连续分配管理方式

连续分配:指为用户进程分配的必须是一个连续的内存空间。

连续分配管理方式分为:

  1. 单一连续分配方式
  2. 固定分区分配方式
  3. 动态分区分配方式

1.1 单一连续分配

1.1.1 系统区和用户区

内存被分为系统区和用户区:

  • 系统区:通常位于内存的低地址部分,用于存放操作系统相关数据。
  • 用户区:用于存放用户进程相关数据。

1.1.2 单一连续分配方式

早期,计算机没有虚拟机制,程序指令所访问的内存地址就是物理内存地址,所以就要将所有程序都加载到内存中。

单一连续分配方式下,内存中只能有一道用户程序,且该用户程序独占整个用户区空间。

image.png

  • 优点:实现简单;无外部碎片;可以采用覆盖技术扩充内存;不一定需要采取内存保护。
  • 缺点:只能用于单用户、单任务的操作系统中;有内部碎片;存储器利用率极低。

外部碎片和内部碎片:

  • 外部碎片:外部碎片是指内存中存在很多小的、非连续的空闲块,这些小块内存尽管总量足够大,但由于不连续,无法满足较大内存块的分配需求。
  • 内部碎片:内部碎片是指在已分配的内存块内部,未被使用的空间造成的浪费。这种情况发生在分配的内存块比实际需要的要大时。

1.2 固定分区分配

20 世纪 60 年代出现了支持多道程序的系统,为了能在内存中装入多道程序,且这些程序之间又不会相互干扰,于是将整个用户空间划分为若干个固定大小的分区,在每个分区中只装入一道作业,这样就形成了最早的、最简单的一种可运行多道程序的内存管理方式,这就是固定分区分配。

根据分区分配大小是否相等又分为一下两种方式:

  1. 分区大小相等:缺乏灵活性,但是很适合用于用一台计算机控制多个相同对象的场合。
  2. 分区大小不等:增加了灵活性,可以满足不同大小的进程需求。根据常在系统中运行的作业大小情况进行划分。

image.png

操作系统需要建立一个数据结构——分区说明表,来实现各个分区的分配与回收,数组或者是链表就可以实现。每个表项对应一个分区,通常按分区大小排列。每个表项包括对应分区的大小、起始地址、状态(是否已分配)。

分区编号起始地址结束地址分区大小(字节)状态(已分配/空闲)分配程序/用途
10x000000000x0000FFFF65536空闲-
20x000100000x0001FFFF65536已分配程序A
30x000200000x0002FFFF65536空闲-
40x000300000x0003FFFF65536已分配程序B
50x000400000x0004FFFF65536空闲-
..................

当某用户程序要装入内存时,由操作系统内核程序根据用户程序大小检索该表,从中找到一个能满足大小的、未分配的分区,将之分配给该程序,然后修改状态为“已分配”。

  • 优点:实现简单,无外部碎片。
  • 缺点
    1. 当用户程序太大时,可能所有的分区都不能满足需求,此时不得不采用覆盖技术来解决,但这又会降低性能;
    2. 会产生内部碎片,内存利用率低。

1.3 动态分区分配

动态分区分配又称为可变分区分配。这种分配方式不会预先划分内存分区,而是在进程装入内存时,根据进程的大小动态地建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。

接下来讨论一下关于动态分区分配的几个问题。

1.3.1 系统要用什么样的数据结构记录内存的使用情况?

两种常用的数据结构:

  1. 空闲分区表:每个空闲分区对应一个表项。表项中包含分区号、分区大小、分区起始地址等信息。

    分区序号分区始址分区大小(MB)状态
    10x00100000200空闲
    20x00150000100空闲
    30x00160000300空闲
    ............
  2. 空闲分区链:每个分区的起始部分和末尾部分分别设置前向指针和后向指针。起始部分处还可记录分区大小等信息。

image.png

1.3.2 当很多个空闲分区都能满足需求时,应该选择哪个分区进行分配?

应该用最大的分区进行分配?还是用最小的分区进行分配?又或是用地址最低的部分进行分配?

把一个新作业装入内存时,须按照一定的动态分区分配算法,从空闲分区表(或空闲分区链)中选出一个分区分配给该作业。

1.3.3 如何进行分区的分配与回收操作?假设系统采用的数据结构是“空闲分区表”...如何分配?

序号情况对策
1回收区的后面有一个相邻的空闲分区两个相邻的空闲分区合并为一个
2回收区的前面有一个相邻的空闲分区两个相邻的空闲分区合并为一个
3回收区的前、后各有一个相邻的空闲分区三个相邻的空闲分区合并为一个
4回收区的前、后都没有相邻的空闲分区新增一个表项

注:各表项的顺序不一定按照地址递增顺序排列,具体的排列方式需要依据动态分区分配算法来确定。

动态分区分配没有内部碎片,但是有外部碎片。

如果内存中空闲空间的总和本来可以满足某进程的要求,但由于进程需要的是一整块连续的内存空间,因此这些“碎片”不能满足进程的需求。可以通过紧凑(拼凑,Compaction)技术来解决外部碎片。

1.4 动态分区分配算法

动态分区分配算法:在动态分区分配方式中,当很多个空闲分区都能满足需求时,应该选择哪个分区进行分配?

1.4.1 首次适应算法(First Fit)

算法思想:每次都从低地址开始查找,找到第一个能满足大小的空闲分区。

如何实现:空闲分区以地址递增的次序排列。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。

1.4.2 最佳适应算法(Best Fit)

算法思想:由于动态分区分配是一种连续分配方式,为各进程分配的空间必须是连续的一整片区域。因此为了保证当“大进程”到来时能有连续的大片空间,可以尽可能多地留下大片的空闲区,即,优先使用更小的空闲区。

如何实现:空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。

缺点:每次都选最小的分区进行分配,会留下越来越多的、很小的、难以利用的内存块。因此这种方法会产生很多的外部碎片。

1.4.3 最坏适应算法(Worst Fit)

又称 最大适应算法(Largest Fit)

算法思想:为了解决最佳适应算法的问题——即留下太多难以利用的小碎片,可以在每次分配时优先使用最大的连续空闲区,这样分配后剩余的空闲区就不会太小,更方便使用。

如何实现:空闲分区按容量递减次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。

缺点:每次都选最大的分区进行分配,虽然可以让分配后留下的空闲区更大,更可用,但是这种方式会导致较大的连续空闲区被迅速用完。如果之后有“大进程”到达,就没有内存分区可用了。

1.4.4 邻近适应算法(Next Fit)

算法思想:首次适应算法每次都从链头开始查找的。这可能会导致低地址部分出现很多小的空闲分区,而每次分配查找时,都要经过这些分区,因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索,就能解决上述问题。

如何实现:空闲分区以地址递增的顺序排列(可排成一个循环链表)。每次分配内存时从上次查找结束的位置开始查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。

邻近适应算法的规则可能会导致无论低地址、高地址部分的空闲分区都有相同的概率被使用,也就导致了高地址部分的大分区更可能被使用,划分为小分区,最后导致无大分区可用(最大适应算法的缺点)

不同动态分区分配算法的对比:

算法算法思想分区排列顺序优点缺点
首次适应从头到尾找适合的分区空闲分区以地址递增次序排列综合看性能最好;算法开销小;回收分区后一般不需要对空闲分区队列重新排序-
最佳适应优先使用更小的分区,以保留更多大分区空闲分区以容量递增次序排列会有更多的大分区被保留下来,更能满足大进程需求会产生很多太小的、难以利用的碎片;算法开销大,回收分区后可能需要对空闲分区队列重新排序
最坏适应优先使用更大的分区,以防止产生太小的不可用的碎片空闲分区以容量递减次序排列可以减少难以利用的小碎片大分区容易被用完,不利于大进程;算法开销大(原因同上)
邻近适应由首次适应演变而来,每次从上次查找结束位置开始查找空闲分区以地址递增次序排列(可排列成循环链表)不用每次都从低地址的小分区开始检索;算法开销小(原因同首次适应算法)会使高地址的大分区也被用完

综合来看,四种算法中,首次适应算法的效果反而更好。

2. 非连续分配管理方式

内存的分配和回收分为两种方式:连续分配管理方式非连续分配管理方式

非连续分配:为用户进程分配的可以是一些分散的内存空间。

非连续分配管理方式分为:

  1. 基本分页存储管理方式
  2. 基本分段存储管理方式
  3. 段页式存储管理方式

2.1 基本分页存储管理

2.1.1 基本分页存储管理的基本概念

基本分页存储管理:操作系统以页框为单位为各个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说,进程的页面与内存的页框有一一对应的关系。

image.png

页框:将内存空间分为一个个大小相等的分区(比如:每个分区4KB),每个分区就是一个页框。

页框号:每个页框有一个编号,即“页框号”,页框号从0开始.

页框 = 页帧 = 内存块 = 物理块 = 物理页面

页框号 = 页帧号 = 内存块号 = 物理块号 = 物理页号

/页面:将进程的逻辑地址空间也分为与页框大小相等的一个个部分,每个部分称为一个“页”或“页面” 。

页号:每个页面也有一个编号,即“页号”,页号也是从0开始。

各个页面不必连续存放,可以放到不相邻的各个页框中。

注:进程的最后一个页面可能没有一个页框那么大。也就是说,分页存储有可能产生内部碎片,因此页框不能太大,否则可能产生过大的内部碎片造成浪费。

逻辑地址和物理地址
  • 物理地址:物理地址是数据最终存储在物理内存中的实际地址。

    物理地址代表了物理内存条上的一个确切位置。当操作系统或硬件需要读写内存中实际的数据时,它会使用物理地址来定位这些数据。

  • 逻辑地址:又称虚拟地址,是程序中使用的地址。

    当编程时,我们创建变量、数组、对象等,这些都是使用的逻辑地址。这个地址是相对地址,相对于程序的起始位置而言的。逻辑地址使得每个程序都可以认为自己是在使用连续的、独立的地址空间。

    逻辑地址主要在程序的编译和执行时使用,它通过操作系统的内存管理单元转换为物理地址才能最终访问实际的内存单元。

2.1.2 重要的数据结构 —— 页表

为了能知道进程的每个页面在内存中存放的位置,操作系统要为每个进程建立一张页表。

image.png

  1. 一个进程对应一张页表
  2. 进程的每个页面对应一个页表项
  3. 每个页表项由“页号”和“块号”组成
  4. 页表记录进程页面和实际存放的内存块之间的映射关系
  5. 每个页表项的长度是相同的

Eg:假设某系统物理内存大小为 4GB,页面大小为 4KB。

内存块大小=页面大小=4KB=212B内存块大小 = 页面大小 = 4KB= 2^{12} B

2.1.3 如何实现地址的转换?

  1. 进程在内存中连续存放时,操作系统是如何实现逻辑地址到物理地址的转换的?

    主要依赖于地址重定位技术,重定位寄存器指明了进程在内存中的起始位置,加上目标逻辑地址就是在内存中的物理地址。目标逻辑地址即为相对于起始位置的偏移量。

  2. 将进程地址空间分页之后,操作系统该如何实现逻辑地址到物理地址的转换?

    特点:虽然进程的各个页面是离散存放的,但是页面内部是连续存放的

    如果要访问逻辑地址 A,则

    ①确定逻辑地址 A 对应的“页号” P

    ②找到 P 号页面在内存中的起始地址(需要查页表)

    ③确定逻辑地址 A 的“页内偏移量” W

    逻辑地址 A 对应的物理地址 = P 号页面在内存中的起始地址 + 页内偏移量 W

子问题:如何确定一个逻辑地址对应的页号、页内偏移量?

页号 = 逻辑地址 / 页面长度 (取除法的整数部分)

页内偏移量 = 逻辑地址 % 页面长度(取除法的余数部分)

在计算机内部,地址是用二进制表示的,如果页面大小 刚好是 2 的整数幂,则计算机硬件可以很快速的把逻辑地址拆分成(页号,页内偏移量)

结论:如果每个页面大小为 2KB2^KB,用二进制数表示逻辑地址,则末尾 K 位即为页内偏移量,其余部分就是页号。

0号页的逻辑地址范围应该是 0~4095,用二进制表示应该是:

00000000000000000000000000000000 ~ 00000000000000000000111111111111 

1号页的逻辑地址范围应该是 4096~8191,用二进制表示应该是:

00000000000000000001000000000000 ~ 00000000000000000001111111111111

2号页的逻辑地址范围应该是 8192~12287,用二进制表示应该是:

00000000000000000010000000000000 ~ 00000000000000000010111111111111

Eg:逻辑地址 2,用二进制表示应该是 00000000000000000000000000000010

页号 = 2/4096 = 0 = 00000000000000000000
页内偏移量 = 2%4096 = 2 = 000000000010

Eg:逻辑地址 4097,用二进制表示应该是 00000000000000000001000000000001

页号 = 4097/4096 = 1 = 00000000000000000001
页内偏移量 = 4097%4096 = 1 = 000000000001

根据页号可以查询页表,而页表中记录的只是内存块号,而不是内存块的起始地址!

J 号内存块的起始地址 = J * 内存块大小

0号内存块的起始物理地址是 00000000000000000000000000000000

1号内存块的起始物理地址是 00000000000000000001000000000000

2号内存块的起始物理地址是 00000000000000000010000000000000

3号内存块的起始物理地址是 00000000000000000011000000000000

Eg:假设通过查询页表得知1号页面存放的内存块号是9(1001),则9号内存块的起始地址 = 9*4096 = 00000000000000001001000000000000

则逻辑地址4097对应的物理地址 = 页面在内存中存放的起始地址 + 页内偏移量 
                           =(00000000000000001001000000000001)

结论:如果页面大小刚好是2的整数幂,则只需把页表中记录的物理块号拼接上页内偏移量就能得到对应的物理地址

总结:页面大小 刚好是 2 的整数幂有什么好处?

  1. 逻辑地址的拆分更加迅速——如果每个页面大小为 2KB2^KB,用二进制数表示逻辑地址,则末尾 K 位 即为页内偏移量,其余部分就是页号。因此,如果让每个页面的大小为 2 的整数幂,计算机硬件就 可以很方便地得出一个逻辑地址对应的页号和页内偏移量,而无需进行除法运算,从而提升了运行 速度。
  2. 物理地址的计算更加迅速——根据逻辑地址得到页号,根据页号查询页表从而找到页面存放的内 存块号,将二进制表示的内存块号和页内偏移量拼接起来,就可以得到最终的物理地址。

分页存储管理的逻辑地址结构如下所示:

image.png

地址结构包含两个部分:前一部分为页号,后一部分为页内偏移量 W。

2.1.4 基本地址变换机构

基本地址变换结构:借助进程的页表将逻辑地址转换为物理地址。

基本地址变换机构可以借助进程的页表将逻辑地址转换为物理地址。

通常会在系统中设置一个页表寄存器(PTR),存放页表在内存中的起始地址 F 和页表长度 M。

进程未执行时,页表的始址 和 页表长度 放在进程控制块(PCB)中,当进程被调度时,操作系统内核会把它们放到页表寄存器中。

注意:页面大小是 2 的整数幂

Eg:设页面大小为L,逻辑地址A到物理地址E的变换过程如下:

image.png

2.1.5 具有快表的地址变换机构

快表:快表,又称联想寄存器(TLB, translation lookaside buffer ),是一种访问速度比内存快很多的高速缓存(TLB不是内存!),用来存放最近访问的页表项的副本,可以加速地址变换的速度。与此对应,内存中的页表常称为慢表。

image.png

由于查询快表的速度比查询页表的速度快很多,因此只要快表命中,就可以节省很多时间。

因为局部性原理,一般来说快表的命中率可以达到 90% 以上。

局部性原理:

  • 时间局部性:如果执行了程序中的某条指令,那么不久后这条指令很有可能再次执行;如果某个数据被访问过,不久之后该数据很可能再次被访问。(因为程序中存在大量的循环)

  • 空间局部性:一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也很有可能被访问。(因为很多数据在内存中都是连续存放的)

2.1.6 两级页表

若某计算机系统按字节寻址,支持 32 位的逻辑地址,采用分页存储管理,页面大小为4KB,页表项长度为 4B。4KB = 2122^{12}B,因此页内地址要用12位表示,剩余 20 位表示页号。

因此,该系统中用户进程最多有 2202^{20} 页。相应的,一个进程的页表中,最多会有 2202^{20} = 1M = 1,048,576 个页表项,所以一个页表最大需要 2202^{20} * 4B = 2222^{22} B,共需要 2222^{22}/2122^{12} = 2102^{10} 个页框存储该页表。

根据页号查询页表的方法:K 号页对应的页表项存放位置 = 页表始址 + K * 4。

要在所有的页表项都连续存放的基础上才能用这种方法找到页表项。根据局部性原理可知,很多时候,进程在一段时间内只需要访问某几个页面就可以正常运行了。因此没有必要让整个页表都常驻内存。

单级页表存在的问题:

  • 问题一:页表必须连续存放,因此当页表很大时,需要占用很多个连续的页框。

    image.png 对策:把页表再分页并离散存储,然后再建立一张页表记录页表各个部分的存放位置,称为页目录表,或称外层页表,或称顶层页表

  • 问题二:没有必要让整个页表常驻内存,因为进程在一段时间内可能只需要访问某几个特定的页面。

    对策:可以在需要访问页面时才把页面调入内存(虚拟存储技术)。可以在页表项中增加一个标志位,用于表示该页面是否已经调入内存。

    若想访问的页面不在内存中,则产生缺页中断(内中断/异常),然后将目标页面从外存调入内存。

细节:

  1. 若分为两级页表后,页表依然很长,则可以采用更多级页表,一般来说各级页表的大小不能超过一个页面

  2. 两级页表的访存次数分析(假设没有快表机构)

    • 第一次访存:访问内存中的页目录表
    • 第二次访存:访问内存中的二级页表
    • 第三次访存:访问目标内存单元

2.2 基本分段存储管理方式

2.2.1 分段

分段:进程的地址空间:按照程序自身的逻辑关系划分为若干个段,每个段都有一个段名(在低级语言中,程序员使用段名来编程),每段从0开始编址。

内存分配规则:以段为单位进行分配,每个段在内存中占据连续空间,但各段之间可以不相邻。

由于是按逻辑功能模块划分,用户编程更方便,程序的可读性更高。

LOAD 1, [D] | <A>; //将分段D中A单元内的值读入寄存器1

STORE 1, [X] | <B>; //将寄存器1的内容存入X 分段的B单元中

分段系统的逻辑地址结构由段号(段名)和段内地址(段内偏移量)所组成。如:

image.png

段号的位数决定了每个进程最多可以分几个段

段内地址位数决定了每个段的最大长度是多少

2.1.2 段表

问题:程序分多个段,各段离散地装入内存,为了保证程序能正常运行,就必须能从物理内存中找到各个逻辑段的存放位置。为此,需为每个进程建立一张段映射表,简称“段表”。

  1. 每个段对应一个段表项,其中记录了该段在内存中的起始位置(又称“基址”)和段的长度。

  2. 各个段表项的长度是相同的。例如:某系统按字节寻址,采用分段存储管理,逻辑地址结构为(段号16位, 段内地址16位),因此用16位即可表示最大段长。物理内存大小为4GB(可用32位表示整个物理内地址空间)。因此,可以让每个段表项占 16+32 = 48位,即6B。由于段表项长度相同,因此段号可以是隐含的,不占存储空间。若段表存放的起始地址为 M,则 K号段对应的段表项存放的地址为 M + K*6。

2.1.3 分段、分页对比

页是信息的物理单位。分页的主要目的是为了实现离散分配,提高内存利用率。分页仅仅是系统管理上的需要,完全是系统行为,对用户是不可见的。

段是信息的逻辑单位。分段的主要目的是更好地满足用户需求。一个段通常包含着一组属于一个逻辑模块的信息。分段对用户是可见的,用户编程时需要显式地给出段名。

页的大小固定且由系统决定。段的长度却不固定,决定于用户编写的程序。

分页的用户进程地址空间是一维的,程序员只需给出一个记忆符即可表示一个地址。

分段的用户进程地址空间是二维的,程序员在标识一个地址时,既要给出段名,也要给出段内地址。

分段比分页更容易实现信息的共享和保护。

不能被修改的代码称为纯代码或可重入代码(不属于临界资源),这样的代码是可以共享的。可修改的代码是不能共享的(比如,有一个代码段中有很多变量,各进程并发地同时访问可能造成数据不一致)

访问一个逻辑地址需要几次访存?

分页(单级页表):第一次访存——查内存中的页表,第二次访存——访问目标内存单元。总共两次访存

分段:第一次访存——查内存中的段表,第二次访存——访问目标内存单元。总共两次访存

与分页系统类似,分段系统中也可以引入快表机构,将近期访问过的段表项放到快表中,这样可以少一次访问,加快地址变换速度。

3. 段页式管理方式

将进程按逻辑模块分段,再将各段分页(如每个页面4KB)

再将内存空间分为大小相同的内存块/页框/页帧/物理块

进程前将各页面分别装入各内存块中

“分段”对用户是可见的,程序员编程时需要显式地给出段号、段内地址。而将各段“分页”对用户是不可见的。系统会根据段内地址自动划分页号和页内偏移量。因此段页式管理的地址结构是二维的。

段号的位数决定了每个进程最多可以分几个段

页号位数决定了每个段最大有多少页

页内偏移量决定了页面大小、内存块大小是多少

每个段对应一个段表项,每个段表项由段号、页表长度、页表存放块号(页表起始地址)组成。每个段表项长度相等,段号是隐含的。

每个页面对应一个页表项,每个页表项由页号、页面存放的内存块号组成。每个页表项长度相等,页号是隐含的。