寄语
Linux 是一个生态,里面丰富多彩。很多大牛都是基于 Linux 来开发各种各样的软件。可以这么说,只要你能想象到的技术领域,几乎都能在里面找到 Linux 的身影。
数据库 MySQL、PostgreSQL,消息队列 RabbitMQ、Kafka,大数据 Hadoop、Spark,虚拟化 KVM、Openvswitch,容器 Kubernetes、Docker,这些软件都会默认提供 Linux 下的安装、使用、运维手册,都会默认先适配 Linux。
Linux 操作系统中的概念非常多,数据结构也很多,流程也复杂,一般人在学习的过程中很容易迷路。所谓“一图胜千言”,我希望能够通过图的方式,将这些复杂的概念、数据结构、流程表现出来,争取用一张图串起一篇文章的知识点。最终,整个专栏下来,你如果能把这些图都掌握了,你的知识就会形成体系和连接。在此基础上再进行深入学习,就会如鱼得水、易如反掌。
正文:
硬盘是个物理设备,要按照规定格式成为文件系统,才能存放程序。文件系统需要一个系统进行统一管理,成为文件管理子系统。
例如,QQ没有启动的时候就是硬盘里面的一堆二进制文件,称为程序(program),当运行起来之后,是不断进行的,就称为进程(process)
在操作系统中,进程的执行也需要分配cpu进行执行,也就是按照程序里面的二进制代码一行一行地执行,于是,为了管理进程,我们还需要一个进程管理子系统。如果运行的进程很多,则一个cpu会并发运行多个进程,也就需要cpu的调度能力了。
在操作系统中,不同的进程有不同的内存空间,但是整个电脑内存就这么多,所以需要统一的管理和分配,这就需要内存管理子系统。
QQ 启动之后,有一部分代码会在显示器上画一个对话框,并且将键盘的焦点放在了输入框里面。CPU 根据这些指令,就会告知显卡驱动程序,将这个对话框画出来。于是使用 QQ 的用户就会很开心地发现,他能和别人开始聊天了。当用户通过键盘噼里啪啦打字的时候,键盘也是输入设备,也会触发中断,通知相应的输入设备驱动程序。所以在计算机中,就需要一个统一管理输入输出的系统,这个系统就叫设备子系统。
假设用户输入了个a,对于 QQ 来讲,由于键盘闪啊闪的焦点在 QQ 这个对话框上,因而操作系统知道,这个事件是给这个进程的。QQ 的代码里面肯定有遇到这种事件如何处理的代码,就会执行。一般是记录下客户的输入,并且告知显卡驱动程序,在那个地方画一个“a”。显卡画完了,客户看到了,就觉得自己的输入成功了。当用户输入完毕之后,回车一下,还是会通过键盘驱动程序告诉操作系统,操作系统还是会找到 QQ,QQ 会将用户的输入发送到网络上。QQ 进程是不能直接发送网络包的,需要调用系统调用,内核使用网卡驱动程序进行发送,所以这就需要一个统一管理网络的系统,这就是网络子系统
那么一个操作系统其实就是以以上7个管理子系统去构成的。

在linux上,无论是系统自带的命令还是自己写的程序,运行起来都是进程。一切的程序都是使用系统调用。 系统调用决定了这个操作系统好用不好用,功能全不全。
进程管理
运行程序对应到linux操作系统中就是创建进程,创建进程的系统调用叫fork。 在linux里,要创建一个新的进程,需要一个老的进程调用fork来实现,其中老的进程叫做父进程,新的进程叫做子进程。
当父进程调用fork创建进程的时候,子进程将各个子系统为父进程创建的数据结构也全部拷贝了一份,甚至连程序代码也是拷贝过来的,再然后对于fork系统调用的返回值,如果当前进程是子进程,就返回0;如果当前进程是父进程,就返回子进程的进程号。这样首先在返回值这里就有了一个区分,然后通过if-else语句判断,如果是父进程,还接着做原来应该做的事情;如果是子进程,需要请求另一个系统调用execve来执行另一个程序,这个时候,子进程和父进程就彻底分道扬镳了,也即产生了一个分支(fork)了。
内存管理
在操作系统中,每个进程都有自己的内存,互相之间不干扰,有独立的进程内存空间。
对于进程的内存空间来讲,放程序代码的这部分内存空间,称为代码段(code segment)
对于进程的内存空间来说,放进程运行中产生数据的这部分,称为数据段(data segment)。
其中局部变量的部分,在当前函数执行的时候起作用,当进入另一个函数时,这个变量就释放了;也有动态分配的,会较长时间保存,指明才销毁的,这部分称为堆(heap)
一个进程的内存空间很大的,32位的是4G,64位的就更大了,我们不可能有这么多物理内存,不可能事先给所有的进程都分配好,一定是需要的时候再分配。所以进程自己不用的部分就不用管,只有进程要去使用部分内存的时候,才会使用内存管理的系统调用来登记,说自己马上就要用了,希望分配一部分内存给它。但是这还不代表真的对应到了物理内存,只有真的写入数据的时候,发现没有对应物理内存,才会触发一个中断,再分配物理内存。
接下来用会议室来比喻介绍堆里面分配内存的系统调用,brk和mmap。 当分配的内存数量比较小的时候,使用brk,会和原来的堆的数据连在一起,这就像会议室里多分配两三个工位,在原来的区域旁边搬两把椅子就行了。当分配的内存数量比较大的时候,使用mmap。会重新划分一块区域,也就是说,当开会人数太多的时候,索性来个一整间会议室。
文件管理
文件管理其实花样不多,无非是创建,打开,读,写等。
对于文件的操作,六个系统调用是最重要的:
.对于已经有的文件,可以使用open打开这个文件,close关闭这个文件;
.对于没有的文件,可以使用create创建文件;
.打开文件以后,可以使用lseek跳到文件的某个位置;
.可以对文件的内容进行读写,读的系统调用是read,写是write
但是linux里有一个特点,那就是一切皆文件。
。启动一个进程,需要一个程序文件,这是一个二进制文件
。启动的时候,需要加载一些配置文件,例如yml,properies等,这是文本文件;启动之后会打印一些日志,如果写到硬盘上,也是文本文件。
。但是如果想把日志打印到交互控制台上,在命令行上刷刷地打印出来,这其实也是一个文件,是标准输出stdout文件
。这个进程的输出可以作为另一个进程的输入,这种方式称为管道,管道也是一个文件。
。进程可以通过网络和其他进程进行通信,建立的socket,也是一个文件。
。进程需要访问外部设备,设备也是一个文件。
。文件都被存储在文件夹里面,其实文件夹也是一个文件。
。进程运行起来,要想看到进程运行的情况,会在/proc下面有对应的进程号,还有一系列文件。 每个文件,linux都会分配一个文件描述符,这是一个整数。有了这个文件描述符,我们就可以使用系统调用,查看或干预进程运行的方方面面。
所以说,文件操作是贯穿始终的,这也是“一切皆文件”的优势,就是统一了操作的入口,提供了极大的便利。
信号处理
在程序运行过程中,不一定都是一帆风顺的,很可能遇到各种异常情况。
当程序遇到异常情况,例如程序中断,做到一半不做了。这时候就需要发送一个信号给系统调用。经常遇到的信号有以下几种:
。在执行一个程序的时候,在键盘输入“ctrl+c”,这就是中断的信号,正在执行的命令就会中止退出;
。非法访问内存
。硬件故障,设备出了问题,当然要通知系统调用
。用户进程通过kill函数,将一个用户信号发送给另一个进程
当系统调用收到信号的时候,系统调用将决定如何处理这些异常情况。
对一些不严重的信号,可以忽略,该干啥干啥,但是像sigkill(用于终止一个进程的信号)和sigstop(用 于中止一个进程的信号)是不能忽略的,可以执行对于该信号的默认动作。
每种信号都定义了默认的动作,例如硬件故障,默认终止;也可以提供信号处理函数,可以通过sigaction系统调用,注册一个信号处理函数。
进程间通信
下面用一个例子来说比喻。
当某个项目比较大的时候,可能分成多个项目组,不同的项目组需要相互交流,相互配合才能完成,这就需要一个项目组之间的沟通机制。项目组之间的沟通方式有很多种。
首先就是发个消息,不需要一段很长的数据,这种方式称为消息队列(message queue)。由于一个公司的多个项目组沟通时,这个消息队列是在内核里的,我们可以通过msgget创建一个新的队列,msgsnd将消息发送到消息队列,而消息接收方可以使用msgrcv从队列中取消息。
当两个项目组需要交互的信息比较大的时候,可以使用共享内存的方式,也即两个项目组共享一个会议室(这样数据就不需要拷贝来拷贝去)大家都到这个会议室来,就可以完成沟通了。这时候,我们通过shmget创建一个共享内存块,通过shmat将共享内存映射到自己的内存空间,然后就可以读写了。
但是,两个项目组共同访问一个会议室里的数据,就会存在“竞争”的问题。如果大家同时修改同一块数据咋办?这就需要有一种方式,让不同的人能够排他地访问,这就是信号量的机制 Semaphore。
这个机制比较复杂,这里说一种简单的场景。对于只允许一个人访问的需求,我们可以将信号量设为 1。当一个人要访问的时候,先调用sem_wait。如果这时候没有人访问,则占用这个信号量,他就可以开始访问了。如果这个时候另一个人要访问,也会调用 sem_wait。由于前一个人已经在访问了,所以后面这个人就必须等待上一个人访问完之后才能访问。当上一个人访问完毕后,会调用sem_post将信号量释放,于是下一个人等待结束,可以访问这个资源了。
网络通信
不同机器通过网络相互通信,要遵循相同的网络协议,也即TCP/IP网络协议栈。linux内核里有对于网络协议栈的实现。
网络服务是通过套接字socket来提供服务的。socket这个名字,可以翻译为插口或者插槽。可以想象成有一根网线,一头插在客户端,一头插在服务端,然后进行通信。因此,在通信之前,双方都要建立一个socket。
可以通过系统调用建立一个socket,socket也是一个文件,也有一个文件描述符,也可以通过读写函数进行通信。
glibc
Glibc 是 Linux 下使用的开源的标准 C 库,它是 GNU 发布的 libc 库。Glibc 为程序员提供丰富的 API,除了例如字符串处理、数学运算等用户态服务之外,最重要的是封装了操作系统提供的系统服务,即系统调用的封装。每个特定的系统调用对应了至少一个 Glibc 封装的库函数,比如说,系统提供的打开文件系统调用 sys_open 对应的是 Glibc 中的 open 函数。有时候,Glibc 一个单独的 API 可能调用多个系统调用,比如说,Glibc 提供的 printf 函数就会调用如 sys_open、sys_mmap、sys_write、sys_close 等等系统调用。也有时候,多个 API 也可能只对应同一个系统调用,如 Glibc 下实现的 malloc、calloc、free 等函数用来分配和释放内存,都利用了内核的 sys_brk 的系统调用。
总结思维导图:
