Docker Cgroups资源控制管理

58 阅读6分钟

1.cgroups简介

cgroups,是一个非常强大的linux内核工具,他不仅可以限制被namespace 隔离起来的资源,还可以 为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。

cgroups有四大功能:

  • 资源限制:可以对任务使用的资源总额进行限制。
  • 优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小,实际上相当于控制了任务运行优先级。
  • 资源统计:可以统计系统的资源使用量,如cpu时长,内存用量等。
  • 任务控制: cgroup可以对任务 执行挂起、恢复等操作。

2、cpu时间片的概念

时间片即CPU分配给各个程序的时间,每个线程被分配一个时间段,称作它的时间片,即该进程允许运行的时间,使各个程序从表面上看是同时进行的。如果在时间片结束时进程还在运行,则CPU将被剥夺并分配给另一个进程。如果进程在时间片结束前阻塞或结束,则CPU当即进行切换。而不会造成CPU资源浪费。

在宏观上:我们可以同时打开多个应用程序,每个程序并行不悖,同时运行。但在微观上:由于只有一个CPU,一次只能处理程序要求的一部分,如何处理公平,一种方法就是引入时间片,每个程序轮流执行。

3、对CPU使用的限制

3.1 设置CPU使用率上限

Linux通过CFS (Completely Fair Scheduler, 完全公平调度器)来调度各个进程对CPU的使用。CFS默认的调度周期是100ms

我们可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少CPU时间。

使用 --cpu-period 即可设置调度周期
使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS 周期的有效范围是 1ms~1s,对应的 --cpu-period 的数值范围是 1000~1000000。
而容器的 CPU 配额必须不小于 1ms,即 --cpu-quota 的值必须 >= 1000
先进入到容器的目录当中查看他们的cpu设置
cd /sys/fs/cgroup/cpu/docker/容器的id


cat cpu.cfs_quota_us 
cat cpu.cfs_period_us

---------------------------------------------------------------------------------------------------------
#cpu.cfs_period_us:cpu分配的周期(微秒,所以文件名中用 us 表示),默认为100000。
#cpu.cfs_quota_us:表示该cgroups限制占用的时间(微秒),默认为-1,表示不限制。 如果设为50000,表示占用50000/100000=50%的CPU。
---------------------------------------------------------------------------
————————————————

image.png

image.png

2.我们进入到web2容器当中,安装压力测试工具来检测我们的cpu使用率

#进行CPU压力测试
docker exec -it web2 bash
vi  cpu.sh

#!/bin/bash
i=0
while true
do
let i++
done
#一个循环脚本

chmod +x /cpu.sh
./cpu.sh
#添加执行权限并执行

top

image.png

image.png

image.png

#设置50%的比例分配CPU使用时间上限
docker run -itd --name web --cpu-quota 50000 centos:7 /bin/bash	#可以重新创建一个容器并设置限额
或者
cd /sys/fs/cgroup/cpu/docker/07ad749cec51ba357875024447b94dc3cc89b7e0c6b544c02fd428dd8b7df2f3/
echo 50000 > cpu.cfs_quota_us

image.png

docker exec -it 07ad749cec51  /bin/bash
./cpu.sh

image.png

image.png

3.4.2 对CPU使用的限制(基于多个容器)

Docker 通过 --cpu-shares 指定 CPU 份额,默认值为1024,值为1024的倍数。

#创建两个容器为 c1 和 c2,若只有这两个容器,设置容器的权重,使得c1和c2的CPU资源占比为1/32/3。
docker run -itd --name c1 --cpu-shares 512 centos:7	
docker run -itd --name c2 --cpu-shares 1024 centos:7

image.png

#分别进入容器,进行压力测试
yum install -y epel-release
yum install -y stress
stress -c 4				#产生四个进程,每个进程都反复不停的计算随机数的平方根

image.png

image.png

image.png

c2

image.png

image.png

image.png

进行压力测试,查看容器状态
docker stats

image.png

可以看到在 CPU 进行时间片分配的时候,容器 c2 比容器 c1 多一倍的机会获得 CPU 的时间片。 但分配的结果取决于当时主机和其他容器的运行状态, 实际上也无法保证容器 c1 一定能获得 CPU 时间片。

比如容器 c1 的进程一直是空闲的,那么容器 c2 是可以获取比容器 c1 更多的 CPU 时间片的。

极端情况下,例如主机上只运行了一个容器,即使它的 CPU 份额只有 50,它也可以独占整个主机的 CPU 资源。

3.5 设置容器绑定指定的cpu

创建一个容器进行测试
css复制代码格式:
docker run --cpuset-cpus CPUID1[,CPUID2...]

docker run -itd --name c1--cpuset-cpus 1,3 centos:7 /bin/bash

docker exec -it c1 bash

stress -c 4

4. 对内存使用的限制

docker run -id --name c2  centos:7
#一个未被限制的容器

docker run -id --name c1 -m 512m centos:7
#-m可以对容器的内存进行限制

image.png

使用docker stats进行查看

image.png

  • 限制可用的 swap 大小, --memory-swap
  • 强调一下,--memory-swap 是必须要与 --memory 一起使用的。
  • 正常情况下,--memory-swap 的值包含容器可用内存和可用 swap。
  • 所以 -m 300m --memory-swap=1g 的含义为:容器可以使用 300M 的物理内存,并且可以使用 700M(1G - 300)的 swap。
  • 如果 --memory-swap 设置为 0 或者 不设置,则容器可以使用的 swap 大小为 -m 值的两倍。
  • 如果 --memory-swap 的值和 -m 值相同,则容器不能使用 swap。
  • 如果 --memory-swap 值为 -1,它表示容器程序使用的内存受限,而可以使用的 swap 空间使用不受限制(宿主机有多少 swap 容器就可以使用多少)。

5. 对磁盘IO配额控制(blkio)的限制

--device-read-bps:限制某个设备上的读速度bps(数据量),单位可以是kb、mb(M)或者gb。
例:docker run -itd --name test9 --device-read-bps /dev/sda:1M  centos:7 /bin/bash

--device-write-bps : 限制某个设备上的写速度bps(数据量),单位可以是kb、mb(M)或者gb。
例:docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

--device-read-iops :限制读某个设备的iops(次数)
--device-write-iops :限制写入某个设备的iops(次数)

5.1 模拟实现

#先创建一个容器来先不限制他的读写性能,看看读写的速度
docker run -id --name c3 centos:7 bash

docker exec -it c3 /bin/bash

dd if=/dev/zero of=/opt/test1.txt bs=1M count=10 oflag=direct

image.png

#再创建一个容器限制他的读写性能

docker run -id --name c4 --device-write-bps /dev/sda:1M centos:7 bash

docker exec -it c4 /bin/bash

dd if=/dev/zero of=/opt/test1.txt bs=1M count=10 oflag=direct

image.png

6. 清理docker占用的磁盘空间

可以用于清理磁盘,删除关闭的容器、无用的数据卷和网络

docker system prune -a

image.png