一、概述
操作系统其实就像一个软件外包公司,其内核就相当于这家外包公司的老板。所以接下来的整个课程中,请你将自己的角色切换成这家软件外包公司的老板,设身处地地去理解操作系统是如何协调各种资源,帮客户做成事情的。
鼠标和键盘是计算机的输入设备。大部分的普通用户想要告诉计算机应该做什么,都是通过这两个设备。例如,用户移动了一下鼠标,鼠标就会通过鼠标线给电脑发消息,告知电脑,鼠标向某个方向移动了多少距离。对于操作系统来讲,输入设备会发送一个中断。称为中断事件(Interrupt Event)。
电脑上的程序有很多,什么有道云笔记的程序、Word 程序等等,它们都以二进制文件的形式保存在硬盘上。硬盘是个物理设备,要按照规定格式化成为文件系统,才能存放这些程序。文件系统需要一个系统进行统一管理,称为文件管理子系统(File ManagementSubsystem)。
显示器,是计算机的输出设备,将计算机处理用户请求后的结果展现给客户。显示器上面显示的东西是由显卡控制的。无论是显示器还是显卡,这里都有个“坐标”的概念,也就是说,什么图像在哪个坐标,都是定义好了才画上去的。本来在某个坐标画了一个鼠标箭头,当接到鼠标移动的事件之后,你应该按相同的方向,按照一定的比例(鼠标灵敏度),在屏幕的某个坐标再画一个鼠标箭头。显卡会有显卡驱动,在操作系统中称为输出设备驱动。
例如 QQ 的二进制文件是静态的,称为程序(Program),而运行起来的 QQ,是不断进行的,称为进程(Process)。
一些操作如对文件的读写、打印机的操作等是放在操作系统内核里面的,进程不能随便操作。系统调用也能列出来提供哪些接口可以调用,进程有需要的时候就可以去调用。
在操作系统中,进程的执行也需要分配 CPU 进行执行,也就是按照程序里面的二进制代码一行一行地执行。于是,为了管理进程,我们还需要一个进程管理子系统(ProcessManagement Subsystem)。 如果运行的进程很多,则一个 CPU 会并发运行多个进程,也就需要 CPU 的调度能力了。
在操作系统中,不同的进程有不同的内存空间,但是整个电脑内存就这么点儿,所以需要统一的管理和分配,这就需要内存管理子系统(Memory Management Subsystem)。
二、几个命令
其实 Linux 命令也是一个程序,只不过代码是别人写好的,我们直接用就可以了。
三、几个系统调用
进程管理
1. 创建进程
创建进程的系统调用叫fork。这个名字很奇怪,中文叫“分支”。在 Linux 里,要创建一个新的进程,需要一个老的进程调用 fork 来实现,其中老的进程叫作父进程(Parent Process), 新的进程叫作子进程(Child Process)。 当父进程调用 fork 创建进程的时候,子进程将各个子系统为父进程创建的数据结构也全部拷贝了一份,甚至连程序代码也是拷贝过来的。
对于 fork 系统调用的返回值,如果当前进程是子进程,就返回 0;如果当前进程是父进程,就返回子进程的进程号。 这样首先在返回值这里就有了一个区分,然后通过 if-else 语句判断,如果是父进程,还接着做原来应该做的事情;如果是子进程,需要请求另一个系统调用execve来执行另一个程序,这个时候,子进程和父进程就彻底分道扬镳了,也即产生了一个分支(fork)了。
同样是“先拷贝,再修改”的策略,你可能会问,新进程都是父进程 fork 出来的,那到底谁是第一个呢?启动的时候先创建一个所有用户进程的“祖宗进程”。
有时候,父进程要关心子进程的运行情况,这毕竟是自己身上掉下来的肉。有个系统调用waitpid,父进程可以调用它,将子进程的进程号作为参数传给它,这样父进程就知道子进程运行完了没有,成功与否。
内存管理
在操作系统中,每个进程都有自己的内存,互相之间不干扰,有独立的进程内存空间。进程的内存空间放程序代码的这部分,称为代码段(Code Segment)。 放进程运行中产生数据的这部分,称为数据段(DataSegment)。 其中局部变量的部分,在当前函数执行的时候起作用,当进入另一个函数时,这个变量就释放了;也有动态分配的,会较长时间保存,指明才销毁的,这部分称为堆(Heap)。
一个进程的内存空间是很大的,32 位的是 4G,64 位的就更大了,我们不可能有这么多物理内存。一定是需要的时候再分配。所以,进程自己不用的部分就不用管,只有进程要去使用部分内存的时候,才会使用内存管理的系统调用来登记,说自己马上就要用了,希望分配一部分内存给它,但是这还不代表真的就对应到了物理内存。只有真的写入数据的时候,发现没有对应物理内存,才会触发一个中断,现分配物理内存。
在堆里面分配内存的系统调用,brk和mmap。 当分配的内存数量比较小的时候,使用 brk,会和原来的堆的数据连在一起。当分配的内存数量比较大的时候,使用mmap,会重新划分一块区域。
文件管理
对于文件的操作,下面这六个系统调用是最重要的:
对于已经有的文件,可以使用open打开这个文件,close关闭这个文件;对于没有的文件,可以使用creat创建文件;打开文件以后,可以使用lseek跳到文件的某个位置;可以对文件的内容进行读写,读的系统调用是read,写是write。
Linux 里有一个特点,那就是一切皆文件。
- 启动一个进程,需要一个程序文件,这是一个二进制文件。
- 启动的时候,要加载一些配置文件,例如 yml、properties 等,这是文本文件;启动之后会打印一些日志,如果写到硬盘上,也是文本文件。
- 但是如果我想把日志打印到交互控制台上,在命令行上唰唰地打印出来,这其实也是一个文件,是标准输出stdout 文件。
- 这个进程的输出可以作为另一个进程的输入,这种方式称为管道,管道也是一个文件。
- 进程可以通过网络和其他进程进行通信,建立的Socket,也是一个文件。
- 进程需要访问外部设备,设备也是一个文件。
- 文件都被存储在文件夹里面,其实文件夹也是一个文件。
- 进程运行起来,要想看到进程运行的情况,会在 /proc 下面有对应的进程号,还是一系列文件。
每个文件,Linux 都会分配一个文件描述符(File Descriptor), 这是一个整数。有了这个文件描述符,我们就可以使用系统调用,查看或者干预进程运行的方方面面。
信号处理
当进程遇到异常情况,需要发送一个信号(Signal)。经常遇到的信号有以下几种:
- 在执行一个程序的时候,在键盘输入“CTRL+C”,这就是中断的信号,正在执行的命令就会中止退出;
- 如果非法访问内存,可能会看到不该看的东西;
- 硬件故障,设备出了问题;
- 用户进程通过kill函数,将一个用户信号发送给另一个进程。
每种信号都定义了默认的动作,例如硬件故障,默认终止;也可以提供信号处理函数,可以通过sigaction系统调用,注册一个信号处理函数。例如,SIGKILL(用于终止一个进程的信号)和 SIGSTOP(用于中止一个进程的信号)。
进程间通信
- 消息队列(MessageQueue): 这个消息队列是在内核里的,这个消息队列是在内核里的,我们可以通过msgget创建一个新的队列,msgsnd将消息发送到消息队列,而消息接收方可以使用msgrcv从队列中取消息。
- 当需要交互的信息比较大的时候,可以使用共享内存的方式,这样数据就不需要拷贝来拷贝去。这时候,我们可以通过shmget创建一个共享内存块,通过shmat将共享内存映射到自己的内存空间,然后就可以读写了。
但是,两个进程共同访问同样的数据,就会存在“竞争”的问题。这就需要有一种方式,让不同的人能够排他地访问,这就是信号量的机制Semaphore。
对于只允许一个人访问的需求,我们可以将信号量设为 1。当一个人要访问的时候,先调用sem_wait。如果这时候没有人访问,则占用这个信号量,他就可以开始访问了。如果这个时候另一个人要访问,也会调用 sem_wait。由于前一个人已经在访问了,所以后面这个人就必须等待上一个人访问完之后才能访问。当上一个人访问完毕后,会调用sem_post将信号量释放,于是下一个人等待结束,可以访问这个资源了。
网络通信
不同机器的通过网络相互通信,要遵循相同的网络协议,也即TCP/IP 网络协议栈。Linux内核里有对于网络协议栈的实现。网络服务是通过套接字 Socket 来提供服务的。Socket 这个名字很有意思,可以作“插口”或者“插槽”讲。虽然我们是写软件程序,但是你可以想象成弄一根网线,一头插在客户端,一头插在服务端,然后进行通信。因此,在通信之前,双方都要建立一个 Socket。
我们可以通过 Socket 系统调用建立一个 Socket。Socket 也是一个文件,也有一个文件描述符,可以通过读写函数进行通信。
Glibc
如果你做过开发,你会觉得刚才讲的和平时咱们调用的函数不太一样。这是因为,平时你并没有直接使用系统调用。使用的是中介Glibc,它会转换成为系统调用,帮你调用。
Glibc 是 Linux 下使用的开源的标准 C 库,它是 GNU 发布的 libc 库。Glibc 为程序员提供丰富的 API,除了例如字符串处理、数学运算等用户态服务之外,最重要的是封装了操作系统提供的系统服务,即系统调用的封装。
每个特定的系统调用对应了至少一个 Glibc 封装的库函数,比如说,系统提供的打开文件系统调用 sys_open 对应的是 Glibc 中的 open 函数。
有时候,Glibc 一个单独的 API 可能调用多个系统调用,比如说,Glibc 提供的 printf 函数就会调用如 sys_open、sys_mmap、sys_write、sys_close 等等系统调用。也有时候,多个 API 也可能只对应同一个系统调用,如 Glibc 下实现的 malloc、calloc、free 等函数用来分配和释放内存,都利用了内核的 sys_brk 的系统调用。