本文已参与「新人创作礼」活动,一起开启掘金创作之路。
前言: 因为容器使用namespace以及cgroup来资源隔离和限制,这里也先简单来了解和整理下
简介:
Namespace是将内核的全局资源做封装,使得每个Namespace都有一份独立的资源,因此不同的进程在各自的Namespace内对同一种资源的使用不会互相干扰。
Cgroup(control group)是内核提供的一种资源隔离的机制,可以实现对进程所使用的cpu、内存物理资源、及网络带宽等进行限制。还可以通过分配的CPU时间片数量及磁盘IO宽带大小控制任务运行的优先级。
一、Namespace解析
目前Linux内核总共支持以下6种Namespace:
- IPC:隔离System V IPC和POSIX消息队列。
- Network:隔离网络资源。
- Mount:隔离文件系统挂载点。
- PID:隔离进程ID。
- UTS:隔离主机名和域名。
- User:隔离用户ID和组ID。
Linux对Namespace的操作,主要是通过 clone、setns
和 unshare
这3个系统调用来完成的,clone创建新进程时,接收一个叫flags的参数,这些flag包括 CLONE_NEWNS、CLONE_NEWIPC、CLONE_NEWUTS、CLONE_NEWNET(Mount namespace)、CLONE_NEWPID和CLONE_NEWUSER
,用于创建新的namespace,这样clone创建出来新进程之后就属于新的namespace了,后续新进程创建的进程默认属于同一namespace。
如果想要给已存在进程设置新的namespace,可通过unshare函数(long unshare(unsigned long flags))完成设置,其入参flags表示新的namespace。当想要给已存在进程设置已存在的namespace,可通过setns函数(int setns(int fd, int nstype))来完成设置,每个进程在procfs目录下存储其相关的namespace信息,可找到已存在的namesapce,然后通过setns设置即可:
[root@k8s-node1 kubernetes]# ll /proc/23/ns
total 0
lrwxrwxrwx. 1 root root 0 Nov 23 08:53 ipc -> ipc:[4026531839]
lrwxrwxrwx. 1 root root 0 Nov 23 08:53 mnt -> mnt:[4026531840]
lrwxrwxrwx. 1 root root 0 Nov 23 08:53 net -> net:[4026531956]
lrwxrwxrwx. 1 root root 0 Nov 23 08:53 pid -> pid:[4026531836]
lrwxrwxrwx. 1 root root 0 Nov 23 08:53 user -> user:[4026531837]
lrwxrwxrwx. 1 root root 0 Nov 23 08:53 uts -> uts:[4026531838]
上述每个虚拟文件对应该进程所处的namespace,如果其他进程想进入该namespace,open该虚拟文件获取到fd,然后传给setns函数的fd入参即可,注意虚拟文件type和nstype要对应上。
六种namespace的简单介绍:
1、IPC
IPC也就是进程间通信,Linux下有多种进程间通信,比如socket、共享内存、Posix消息队列和SystemV IPC等,这里的IPC namespace针对的是SystemV IPC和Posix消息队列,其会用标识符表示不同的消息队列,进程间通过找到标识符对应的消息队列来完成通信,IPC namespace做的事情就是相同的标识符在不同namespace上对应不同的消息队列,这样不同namespace的进程无法完成进程间通信。
2、Network
Network Namespace隔离网络资源,每个Network Namespace都有自己的网络设备、IP地址、路由表、/proc/net目录、端口号等。每个Network Namespace会有一个loopback设备(除此之外不会有任何其他网络设备)。因此用户需要在这里面做自己的网络配置。IP工具已经支持Network Namespace,可以通过它来为新的Network Namespace配置网络功能。
3、Mount
Mount namesapce用户隔离文件系统挂载点,每个进程能看到的文件系统都记录在/proc/$$/mounts里。在创建了一个新的Mount Namespace后,进程系统对文件系统挂载/卸载的动作就不会影响到其他Namespace。
4、PID
PID Namespace用于隔离进程PID号,这样一来,不同的Namespace里的进程PID号就可以是一样的了。当创建一个PID Namespace时,第一个进程的PID号是1,也就是init进程。init进程有一些特殊之处,例如init进程需要负责回收所有孤儿进程的资源。另外,发送给init进程的任何信号都会被屏蔽,即使发送的是SIGKILL信号,也就是说,在容器内无法“杀死”init进程。
5、UTS
UTS Namespace用于对主机名和域名进行隔离,也就是uname系统调用使用的结构体structutsname里的nodename和domainname这两个字段,UTS这个名字也是由此而来的。为什么需要uts namespace呢,因为为主机名可以用来代替IP地址,比如局域网通过主机名访问机器。
6、User
User Namespace用来隔离用户资源,比如一个进程在Namespace里的用户和组ID与它在host里的ID可以不一样,这样可以做到,一个host的普通用户可以在该容器(user namespace)下拥有root权限,但是它的特权被限定在容器内。(容器内的这类root用户,实际上还是有很多特权操作不能执行,基本上如果这个特权操作会影响到其他容器或者host,就不会被允许)
二、Cgroup解析
相关名称的概念:
- 任务(task): 在cgroup中,任务相当于是一个进程,可以属于不同的cgroup组,但是所属的cgroup不能同属一层级
- 任务/控制组: 资源控制是以控制组的方式实现的,进程可以加入到指定的控制组中,类似于Linux中user和group的关系。控制组为树状结构的上下父子关系,子节点控制组会继承父节点控制组的属性,如资源配额等
- 层级(hierarchy): 一个大的控制组群树,归属于一个层级中,不同的控制组以层级区分开
- 子系统(subsystem): 一个的资源控制器,比如cpu子系统可以控制进程的cpu使用率,子系统需要附加(attach)到某个层级,然后该层级的所有控制组,均受到该子系统的控制
层级结构关系
- 1.在创建新层级时,系统中所有任务都是那个层级的默认顶级cgroup,我们称之为 root cgroup ,后面该层级中创建的子cgroup都是隶属于此父cgroup。
- 2.一个子系统最多只能附加到一个层级。
- 3.一个层级可以附加多个子系统
- 4.一个任务可以是多个cgroup的成员,但是这些cgroup必须在不同的层级。
- 5.系统中的进程(任务)创建子进程(任务)时,该子任务自动成为其父进程所在 cgroup 的成员。然后可根据需要将该子任务移动到不同的 cgroup 中,但开始时它总是继承其父任务的cgroup。
为了便于理解,个人理解以图来辅助说明
简单介绍上图:
1、分为两个层级A和B,分别附加子系统为Memory和CPU
2、cgroup_1和cgroup_2隶属于root_cgroup_1中,又都归属于层级A,为子系统memory来管理此层级内所属进程的配额
3、cgroup_3和cgroup_4隶属于root_cgroup_2中,又都归属于层级B,为子系统cpu来管理此层级内所属进程的配额
4、task任务进程可以属于多个cgroup组,上图所属组为cgroup_2和cgroup_3
常见的子系统如下:
- cpu 子系统: 主要限制进程的 cpu 使用率。
- cpuacct 子系统: 可以统计 cgroups 中的进程的 cpu 使用报告。
- cpuset 子系统: 为cgroups中的进程分配单独的cpu节点或者内存节点。
- memory 子系统: 可以限制进程的 memory 使用量。
- blkio 子系统: 可以限制进程的块设备 io。
- devices 子系统: 可以控制进程能够访问某些设备。
- net_cls 子系统: 可以标记cgroups 中进程的网络数据包,然后可以使用 tc 模块(traffic control)对数据包进行控制。
- freezer 子系统: 可以挂起或者恢复 cgroups 中的进程。
- ns 子系统: 可以使不同 cgroups 下面的进程使用不同的 namespace。
测试使用
在/sys/fs/cgroup/cpu目录下创建一个container目录,这个目录就称为一个“控制组”,系统会自动生成该子系统对应的资源限制文件
[root@k8s-node2 cpu]# pwd
/sys/fs/cgroup/cpu
[root@k8s-node2 cpu]# mkdir container
[root@k8s-node2 cpu]# ls container
cgroup.clone_children cgroup.procs cpuacct.usage cpu.cfs_period_us cpu.rt_period_us cpu.shares notify_on_release
cgroup.event_control cpuacct.stat cpuacct.usage_percpu cpu.cfs_quota_us cpu.rt_runtime_us cpu.stat tasks
创建一个占用100%CPU的进程
[root@k8s-node2 cpu]# while : ; do : ; done & #死循环
[1] 23066
可用top查看到此进程的CPU占用率逐渐增加到100%
查看 container 目录下的文件 container 控制组里的 CPU quo ta还没有任何限制(即:-1)CPU period 则是默认的 100ms(100000 us)
[root@k8s-node2 container]# cat cpu.cfs_quota_us
-1
[root@k8s-node2 container]# cat cpu.cfs_period_us
100000
修改cpu.cfs_quota_us值,来限制cpu资源 向 container 组里的 cfs_quota 文件写入 20 ms(20000 us)
echo 20000 > /sys/fs/cgroup/cpu/container/cpu.cfs_quota_us
这个操作的含义:它意味着在每 100 ms 的时间里,被该控制组限制的进程只能使用 20 ms 的 CPU 时间,也就是说这个进程只能使用到 20% 的 CPU 带宽。
然后把被限制的进程的 PID 写入 container 组里的 tasks 文件,上面的设置就会对该进程生效了:
[root@k8s-node2 container]# echo 23066> tasks
可以使用top查看对应进程的资源占用,就可以查看到进程所占用的cpu资源很快降到了20%
小结
一般namespace都是和cgroup结合来使用的,但是直接操作Namespace和Cgroup并不是很容易,因此docker的出现就显得有必要了,Docker通过Libcontainer来处理这些底层的事情。这样一来,Docker只需要简单地调用Libcontainer的API,就能将完整的容器搭建起来。而作为Docker的用户,就更不用操心这些事情了,只需要通过一两条简单的Docker命令启动容器即可。
End……