Docker Cgroups资源控制管理

140 阅读5分钟

一、cgroups简介

cgroups,是一个非常强大的linux内核工具,他不仅可以限制被namespace 隔离起来的资源,还可以 为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。

cgroups有四大功能:

  • 资源限制:可以对任务使用的资源总额进行限制。
  • 优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小,实际上相当于控制了任务运行优先级。
  • 资源统计:可以统计系统的资源使用量,如cpu时长,内存用量等。
  • 任务控制: cgroup可以对任务 执行挂起、恢复等操作。

二、cpu时间片的概念

时间片即CPU分配给各个程序的时间,每个线程被分配一个时间段,称作它的时间片,即该进程允许运行的时间,使各个程序从表面上看是同时进行的。如果在时间片结束时进程还在运行,则CPU将被剥夺并分配给另一个进程。如果进程在时间片结束前阻塞或结束,则CPU当即进行切换。而不会造成CPU资源浪费。

在宏观上:我们可以同时打开多个应用程序,每个程序并行不悖,同时运行。但在微观上:由于只有一个CPU,一次只能处理程序要求的一部分,如何处理公平,一种方法就是引入时间片,每个程序轮流执行。

三、对CPU使用的限制

3.1 设置CPU使用率上限

Linux通过CFS (Completely Fair Scheduler, 完全公平调度器)来调度各个进程对CPU的使用。CFS默认的调度周期是100ms

我们可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少CPU时间。

使用 --cpu-period 即可设置调度周期,使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。

CFS周期的有效范围是1ms ~ 1s, 对应的 --cpu-period 的数值范围是 1000 ~1000000 (单位微秒)。

而容器的CPU配额必须不小于1ms,即 --cpu-quota 的值必须 >= 1000。

(1)查看容器的默认CPU使用限制

#创建并启动容器
docker run -itd --name test1 centos:7 /bin/bash

#查看容器状态
docker ps -a

#切换到cgroup下针对容器的相关配置目录
cd /sys/fs/cgroup/cpu/docker/

##切换到test1容器的目录(通过ls查看cgroup下针对容器的配置)cd到为容器的id的文件
cd e988c692e592a716c0f81eca23a98e99fb5040e8c4afea9bbf44f5ab03d26512/

##查看test1容器的CPU使用限额。即每个调度周期内可占用的CPU时间(单位:微秒)
cat cpu.cfs_quota_us

##查看CPU调度周期(单位:微秒)
cat cpu.cfs_period_us

#cpu.cfs_period_us:分配的周期(微秒,所以文件名中用u),默认为100000。 
#cpu.cfs_quota_us:表示该cgroups限制占用的时间(微秒),默认为-1,表示不限制。  
#cpu.cfs_quota_us 如果设为50000,表示占用 50000/100000=50%的CPU

image.png

image.png

image.png

image.png

image.png

(2)进行压力测试

[root@localhost ~]# docker exec -it test1 bash
[root@e988c692e592 /]# vi /cpu.sh

#!/bin/bash
i=0
while true
do
 let i++
done
[root@e988c692e592 /]# chmod +x cpu.sh 
[root@e988c692e592 /]# ./cpu.sh 

#再打开一个终端
[root@localhost ~]# top
top - 16:21:46 up  2:45,  2 users,  load average: 0.63, 0.19, 0.10
Tasks: 157 total,   2 running, 155 sleeping,   0 stopped,   0 zombie
%Cpu(s): 47.2 us,  2.8 sy,  0.0 ni, 50.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  1867048 total,   698556 free,   424480 used,   744012 buff/cache
KiB Swap:  4194300 total,  4194300 free,        0 used.  1178016 avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND       
  3869 root      20   0   11688   1096    916 R 100.0  0.1   1:02.64 cpu.sh        
  1115 root      20   0  960640  34328  14000 S   0.3  1.8   0:08.20 containerd    

image.png

image.png

image.png

image.png

(3)创建容器时设置CPU使用时间限制

[root@localhost ~]# docker run -id --name test2 --cpu-quota 30000 centos:7 
a6f8d6742fb317d00372613eeac61a698b203005342e4633becbef444cab1bbe
[root@localhost ~]# docker exec -it test2 bash
[root@a6f8d6742fb3 /]# vi cpu.sh
[root@a6f8d6742fb3 /]# chmod +x cpu.sh 
[root@a6f8d6742fb3 /]# ./cpu.sh 

image.png

image.png

3.2 设置cpu资源的占用比 注意:该方式需要设置多个容器时才会生效 创建容器时可以使用选项 --cpu-shares 数值(该数值要为1024的倍数,1024代表一份,当个容器占用cpu的份额由自身分配的份数除于所有容器占用cpu的份数,就为该容器所占用cpu资源的百分比)

进行分配

[root@localhost ~]#docker run -id --name b1 --cpu-shares 2048 centos:7
 
[root@localhost ~]#docker run -id --name b2 --cpu-shares 1024 centos:7
 
[root@localhost ~]#docker run -id --name b3 --cpu-shares 1024 centos:7
 

image.png

4.内存使用的限制

限制容器可以使用的最大内存

m (或--memory=)选项用于限制容器可以使用的最大内存

docker run -itd --name d1 -m 512m centos:7 /bin/bash
docker  stats

image.png

清除docker占用的磁盘空间

docker system prune -a 可用于清理磁盘,删除关闭的容器、无用的数据卷和网络。

docker system prune -a 

image.png

image.png