前端day2 - linux基础 | 青训营笔记

littlehole
151 阅读11分钟

字节前端青训营课程——linux基础

地址：juejin.cn/course/byte…

前言

  • 学习linux的价值

    • Linux是现代化应用程序交付的首选平台，无论是部署在裸机、虚拟化还是容器化环境
    • 公司内部服务(TCE、 FaaS、SCM)统一使用Debian Linux系统
    • 熟悉Linux基础指令，熟练运维前端常用服务( Nginx, Node.js)
    • 加深对操作系统概念和实现的理解，夯实基础知识

  • 课前准备

    • 一台安装Debian Linux系统的计算机

  • Linux为什么选企鹅作为logo

    • 企鹅是南极洲的标志性动物，根据国际公约，南极洲为全人类共同所有，不属于当今世界上的任何国家。

    • Linux选择企鹅图案作标志，其含意也是表明:开源的Linux，为全人类共同所有，任何公司无权将其私有。

计算机硬件

  • 计算机五大基本单元

    • 控制器

    • 运算器

    • 控制器+运算器，组成CPU

    • 存储器单元

      • 磁盘、光驱，都属于外存

    • 输入单元

      • 鼠标、键盘等

    • 输出单元

      • 显示器、音箱等

计算机操作系统

  • 操作系统（Operating System，OS）

    • 管理和控制计算机系统中的硬件和软件资源，用于在用户与系统硬件之间传递信息

  • OS两大能力

    • 管理计算机资源

      • 处理器管理
      • 存储器管理
      • 设备管理
      • 文件管理

    • 提供用户接口

      • 用户通过接口，直接与os进行通信，对计算机资源进行管理

      • 命令接口
      • 图形用户接口
      • 程序接口

    • 常见的OS

      • IOS
      • Linux
      • Windows
      • Android
      • HarmonyOS

程序启动必须有操作系统来执行，那操作系统本身也是一个程序，那是如何在开机时被执行的呢？

  • 操作系统启动流程

    • 基于BIOS
    • 基于UEFI

  • BIOS和UEFI是固化在主板上的一段程序；其主要作用是：使计算机在开机时执行和解析这一段程序。当这段程序启动后，会进行一个初始化动作：寻找到Bootloader（操作系统引导程序）。通过Bootloader去加载和运行OS。

  • BIOS和UEFI的区别

    • BIOS会在开机时，对计算机设备进行检查。

      • BIOS默认会与MBR（硬盘的一种分区模式）进行配合，导致其无法引导启动2.2T及以上的磁盘。

    • UEFI是BIOS的优化版本，优化自检流程，提高系统加载启动速度。

      • UEFI配合GPT的分区模式，可引导2.2T以上容量的磁盘进行启动。

Linux系统概览

  1. 发展

  • 1969年，Unix诞生于贝尔实验室
  • 1984年，贝尔实验室将Unix商业化
  • 1984年，Tanenbaum开发Minix操作系统用于教学并开放源码
  • 1984年，Richard M. Stallman发起自由软件（FSF）与GNU项目，起草GPL（通用公共许可）协议
  • 1991年，Linus Torvalds受 Minix影响实现初版的Linux内核
  • 1992年，Linux 内核以GPL协议发行V1.0

  1. 版本

  • 内核版本

    • Linux作者本人维护的版本
    • 操作系统的一块核心
    • 提供进程、内存、文件、硬件资源管理等底层能力

  • 发行版本

    • Linux内核+常用软件
    • 例如Ubuntu、centOS、debian。

  1. 命令

  • 查看linux系统内核版本
# 方法1
uname -a
# 方法2
cat /proc/version
  • 查看linux系统的发行版本
cat /etc/os-release

  1. Linux应用领域

  • IT服务器

    • 操作系统
    • 虚拟化
    • 云计算

  • 嵌入式和智能设备

    • 安卓手机的底层就是linux系统

  • 个人办公桌面

  • 学术研究与软件研发

    • linux是完全开源的OS

Linux系统结构

  1. 基本组成

  • 四个主要部分

    • 内核

      • 提供操作系统的底层能力

    • Shell

      • 命令解释器
      • 通过shell输入指令，与linux内核进行交互，达到管理和使用linux内的资源

    • 文件系统

      • 负责管理持久数据的子系统
      • 也就是，将数据存储到磁盘内

    • 应用程序

      • 在linux系统上运行的程序

  1. 体系结构

  • GNC C Library（glibc）：封装好的标准调用库

  • 划分用户空间与内核空间

    • 故障隔离
    • 权限区分

应用程序默认运行于用户空间，处于用户态。用户发起一次io请求，即底层通过glibc发起一次系统调用。发起调用以后，程序会从用户态切换至内核态，即内核将代表程序运行于内核空间。当程序运行在内核态时，程序拥有内核的最高级别权限，即拥有了与硬件设备通信的能力。当本次任务完成以后，程序将重新从内核态切换回用户态。

  • 内核是硬件与软件之间的中间层
  • 内核是一个资源管理程序
  • 内核提供一组面向系统的命令

  • 底层是文件系统

  • 每个企鹅代表一个进程

  • 休闲的企鹅代表进程空闲

  • 修购代表进程管理和监控系统

  • 80门边的企鹅监听80端口

  • 21接口快掉下来：该协议比较老旧

  • 217企鹅：定时调度进程

  • 两个企鹅抬管道：表示进程之间，可以通过管道进行通信

  • 最上层：通过tty，将命令传给进程

Linux进程管理

当nginx启动后，它会以进程的形式，常驻留在linux中，接收外部指令，返回和处理各类数据，来响应用户操作。

  1. 进程创建

  • 进程是正在执行的一个程序或命令

  • 进程有自己的地址空间，占用一定的系统资源

  • 一个CPU核同一时间只能运行一个进程

  • 进程由它的进程ID (PID)和它父进程的进程ID (PPID)唯一识别

      • linux启动进程：通过父进程，来拉起一个子进程；

        • 将父进程作为模板，创建一个新进程
        • 再将子进程的系统资源，映射到创建的新进程中

      • Linux启动后，会拉起pid=0的进程；

      • pid0启动后，会拉起pid1和pid2

      • pid1是所有用户进程的父进程

        • linux启动新的用户进程，都是以pid1为模版进行创建的

      • pid2是所有内核进程的父进程

总结来说，linux的进程结构是树结构。

  1. 查看进程信息

# 查看启动的nginx进程
ps -ef | grep nginx

# 查看某个进程
top -p 93824

# 关闭指定的进程
kill 93824

# 全部进程动态实时视图
top

系统中运行的程序远远大于CPU的核数，那linux系统是如何实现同时运行这么多程序的？

——使用进程调度。

  1. 进程调度

进程调度是指操作系统按某种策略或规则选择进程占用CPU进行运行的过程。

  • 进程的生命周期

  • R (TASK_RUNNING)，可执行状态

  • S (TASK_INTERRUPTIBLE)，可中断的睡眠状态

    • nginx没有处理用户请求时，默认处理S状态；

      当有http请求到来时，nginx会被拉起处理请求。

  • D (TASK_UNINTERRUPTIBLE)，不可中断的睡眠状态

    • 该进程的等待是不可中断的。

  • T (TASK_STOPPED or TASK_TRACED)，暂停状态或跟踪状态

    • 进程正在被跟踪或者被停止；

      往往由debug工具引起的。

  • Z (TASK_DEAD - EXIT_ZOMBIE)，退出状态，进程成为僵尸进程

  • X (TASK_DEAD - EXIT_DEAD)，退出状态，进程即将被销毁

  1. 进程调度原则

  • 一个CPU核同一时间只能运行一个进程

  • 每个进程有近乎相等的执行时间

  • 对于逻辑CPU而言进程调度使用轮询的方式执行，当轮询完成则回到第一个进程反复

    • OS在管理进程时，会创建管理进程的队列；

      CPU会从队列中取进程进行处理。

      保证所有进程被处理到，防止部分进程被饿死。

  • 进程执行消耗时间和进程量成正比

  1. 进程的系统调用

  • 内核空间（kernel space）：系统内核运行的空间
  • 用户空间（user space）：应用程序运行的空间

以nginx为例：

  • 当nginx运行时，默认为用户态。

  • 当请求发送到nginx时，处理该请求需要读取一些页面文件，nginx会向内核发送io请求。

    • 发送io请求，即可称为发起一次系统调用。

  • 发生系统调用后，对应的任务（例如io读取）就会切换到内核态进行执行，即应用程序切换到内核态，拥有相应的权限去进行交互（读取文件）。

  • 交互完成后，将结果返回给用户态的应用程序。应用程序从内核态切换到用户态。

  • 最终将结果返回给用户。

文件系统

文件系统是操作系统中负责管理持久数据的子系统，负责把用户的文件存到磁盘硬件中，持久化的保存文件。

  • linux中一切皆文件。

  • 不同的文件，有不同的类型。

保证了操作统一，接口调用的统一。

linux文件系统是采用树状的目录结构，最上层是/（根）目录。

Linux有这么多不同的文件系统，如何实现对用户提供统一调用的接口？

——虚拟文件系统

  1. 虚拟文件系统（VFS）

  • 对应用层提供一个标准的文件操作接口
  • 对文件系统提供一个标准的文件接入接口

  1. 查看文件系统类型

  1. 文件基本操作

# 查看文件夹下内容
ls

# 创建文件夹
mkdir demo

# 移动demo文件夹到/home
mv demo /home

#删除demo文件夹
rm -r -demo

# 创建空文件
touch file.txt

# 复制文件
cp file.txt file_bak.txt

  1. 文件读取流程

以nginx为例

  • 当nginx接收到用户请求的时候，nginx会去寻找请求对应的文件，将文件内容读取出来，返回给用户。

  • 首先，niginx进程会去搜索用户缓冲区寻找目标文件；

    • 若用户缓冲区有命中过目标文件，有数据缓存。那么nginx直接从缓冲区读取对应的数据缓存。
    • 若没有命中，则要发起一次系统调用（发起一次系统IO调用）。

  • nginx从用户态切换到内核态。

  • 内核进程会从内核缓冲区中寻找目标内容。

    • 若有命中过，则通过cpu将缓存数据copy至用户缓冲区，供用户进程使用。
    • 若没有命中过，则通过DMA（直接存储访问）向磁盘发送直接读取的请求。DMA将目标文件数据copy至内核缓冲区。内核缓冲区接收数据后，通过cpu将缓存copy至用户缓冲区，供用户进程使用。

  • nginx读取到用户缓冲区中的目标数据，通过cpu，将数据copy至socket缓冲区。

  • socket缓冲区通过DMA将文件数据copy至网卡。、

  • 文件读取流程结束。

DMA可以直接与磁盘进行交互，读取和写入磁盘数据。

用户权限

  • 用户账户

    • 普通用户账户:在系统中进行普通作业
    • 超级用户账户:在系统中对普通用户和整个系统进行管理

  • 组账户

    • 标准组:可以容纳多个用户
    • 私有组:只有用户自己

  1. 查看用户信息

  1. 文件权限

  • 文件权限关于用户有三个概念：

    • 所有者：文件的所有者
    • 所在组：文件的所有者所在的组
    • 其他人：除文件所有者及所在组外的其他人

  • 用户对文件的权限

    • 读/R
    • 写/W
    • 执行/X

  1. 用户权限操作

Linux系统软件包管理

  • 软件包

    • 通常指一个应用程序，可以是一个GUI应用程序、命令行工具或（其他软件程序需要的）软件库

  • 软件包管理

    • 底层工具：主要用来处理安装和删除软件包文件等任务，DPKG、RPM
    • 上层工具：主要用于数据的搜索任务和依赖解析任务，APT、YUM、DNF

RPM和DPKG是两个不同分支的linux系统的包管理系统

  • RPM（Red Hat Package Manager），为Red Hat操作系统的包管理系统；
  • DPKG（Debian Package），为Debian操作系统的包管理系统

  1. Debian APT

# 列出所有可更新的软件清单命令: 
apt update

# 安装指定的软件命令: 
apt install <package_ name>

# 安装多个软件包: 
apt install <package_1> <package_2> <package_3>

# 更新指定的软件命令: 
apt update <package_name>
# 删除软件包命令: 
apt remove <package_name>

# 查找软件包命令:
apt search <keyword>

# 列出所有已安装的包: 
apt list --installed

  1. Debian配置软件源

  • main：自由软件
  • contrib：自身是自由软件，依赖了非自由软件
  • non-free：完全的非自由软件
avatar
文章
阅读
粉丝