程序员需要了解的计算机底层知识之内存管理与内核
内存管理的发展历程
- DOS时代-同一时间只能有一个进程在运行(也有一些特殊算法可以支持多进程)
- window9x版本之后支持多进程装入内存 暴露两个问题 1.内存不足 2.相互打扰
为了解决以上两个问题,诞生了内存管理系统:虚拟地址,分页装入,软硬件结合寻址
-
分页(内存不够用),内存分成固定的大小的页框每个4K,把程序(硬盘上)分成4K大小的块,用到哪一块就加载哪一块,加载的过程中,如果内存满了就把最不常用的一块放到swap分区,把最新的一块加载到内存中,这就是著名的lru算法。
- LRU算法 LeetCode146题
- Least Recently Used 最不常用
- 哈希表(保证 查找操作O(1)) + 链表 (保证 排序操作和新增操作 O(1)))
- 双向链表 (保证 左边指针 指向右边块)
-
虚拟内存(解决相互打扰问题) 1.DOS Win31 ... 互相干掉 2.为了保证互不影响 - 让进程工作在虚拟空间,程序中用到的空间地址不再是直接的物理地址,而是虚拟的地址,这样,A进程永远不可能访问到B进程的空间 3.虚拟空间多大呢?寻址空间 - 64位系统 2 ^ 64,比物理空间大很多 ,单位是byte 4.站在虚拟的角度,进程是独享整个系统 + CPU 5.内存映射:偏移量 + 段的基地址 = 线性地址 (虚拟空间) 6.线性地址通过 OS + MMU(硬件 Memory Management Unit)
ZGC
算法叫做:Colored Pointer GC信息记录在指针上,不是记录在头部, immediate memory use 42位指针 寻址空间4T JDK13 -> 16T 目前为止最大16T 2^44
CPU如何区分一个立即数 和 一条指令
总线内部分为:数据总线 地址总线 控制总线 地址总线目前:48位 颜色指针本质上包含了地址映射的概念
内核同步机制
关于同步理论的一些基本概念
- 临界区(critical area): 访问或操作共享数据的代码段 简单理解:synchronized大括号中部分(原子性)
- 竞争条件(race conditions)两个线程同时拥有临界区的执行权
- 数据不一致:data unconsistency 由竞争条件引起的数据破坏
- 同步(synchronization)避免race conditions
- 锁:完成同步的手段(门锁,门后是临界区,只允许一个线程存在) 上锁解锁必须具备原子性
- 原子性(象原子一样不可分割的操作)
- 有序性(禁止指令重排)
- 可见性(一个线程内的修改,另一个线程可见)
- 互斥锁 排他锁 共享锁 分段锁
内核同步常用方法
-
原子操作 – 内核中类似于AtomicXXX,位于<linux/types.h>
-
自旋锁 – 内核中通过汇编支持的cas,位于<asm/spinlock.h>
-
读-写自旋 – 类似于ReadWriteLock,可同时读,只能一个写 读的时候是共享锁,写的时候是排他锁
-
信号量 – 类似于Semaphore(PV操作 down up操作 占有和释放) 重量级锁,线程会进入wait,适合长时间持有的锁情况
-
读-写信号量 – downread upread downwrite upwrite (多个写,可以分段写,比较少用)(分段锁)
-
互斥体(mutex) – 特殊的信号量(二值信号量)
-
完成变量 – 特殊的信号量(A发出信号给B,B等待在完成变量上) vfork() 在子进程结束时通过完成变量叫醒父进程 类似于(Latch)
-
BKL:大内核锁(早期,现在已经不用)
-
顺序锁(2.6): – 线程可以挂起的读写自旋锁 序列计数器(从0开始,写时增加(+1),写完释放(+1),读前发现单数, 说明有写线程,等待,读前读后序列一样,说明没有写线程打断)
-
禁止抢占 – preempt_disable()
-
内存屏障 – 见volatile