cgroups简介

cgroups，是一个非常强大的linux内核工具，他不仅可以限制被namespace 隔离起来的资源，还可以为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。

cgroups有四大功能：

资源限制：可以对任务使用的资源总额进行限制。
优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级。
资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等。
任务控制： cgroup可以对任务执行挂起、恢复等操作。

cpu时间片的概念

时间片即CPU分配给各个程序的时间，每个线程被分配一个时间段，称作它的时间片，即该进程允许运行的时间，使各个程序从表面上看是同时进行的。如果在时间片结束时进程还在运行，则CPU将被剥夺并分配给另一个进程。如果进程在时间片结束前阻塞或结束，则CPU当即进行切换。而不会造成CPU资源浪费。

在宏观上：我们可以同时打开多个应用程序，每个程序并行不悖，同时运行。但在微观上：由于只有一个CPU，一次只能处理程序要求的一部分，如何处理公平，一种方法就是引入时间片，每个程序轮流执行。

对CPU使用的限制

设置CPU使用率上限

Linux通过CFS （Completely Fair Scheduler，完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。

我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少CPU时间。

使用 --cpu-period 即可设置调度周期，使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。

CFS周期的有效范围是1ms ~ 1s，对应的 --cpu-period 的数值范围是 1000 ~1000000 （单位微秒）。

而容器的CPU配额必须不小于1ms，即 --cpu-quota 的值必须 >= 1000。

（1）查看容器的默认CPU使用限制

[root@localhost ~]# docker run -itd --name test1 centos:7 /bin/bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
d875e00ffb157deb8b79aa8a9660f6ee8b3e3c8dd6842e2c091578e8081b0b3e
#查看容器状态
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE      COMMAND       CREATED         STATUS         PORTS     NAMES
d875e00ffb15   centos:7   "/bin/bash"   3 minutes ago   Up 3 minutes             test1

#切换到cgroup下针对容器的相关配置目录
[root@localhost ~]# cd /sys/fs/cgroup/cpu/docker/
[root@localhost docker]# ls
cgroup.clone_children  cpu.rt_period_us
cgroup.event_control   cpu.rt_runtime_us
cgroup.procs           cpu.shares
cpuacct.stat           cpu.stat
cpuacct.usage          d875e00ffb157deb8b79aa8a9660f6ee8b3e3c8dd6842e2c091578e8081b0b3e
cpuacct.usage_percpu   notify_on_release
cpu.cfs_period_us      tasks
cpu.cfs_quota_us
##切换到test1容器的目录
[root@localhost docker]# cd d875e00ffb157deb8b79aa8a9660f6ee8b3e3c8dd6842e2c091578e8081b0b3e
[root@localhost d875e00ffb157deb8b79aa8a9660f6ee8b3e3c8dd6842e2c091578e8081b0b3e]# ls
cgroup.clone_children  cpuacct.usage         cpu.rt_period_us   notify_on_release
cgroup.event_control   cpuacct.usage_percpu  cpu.rt_runtime_us  tasks
cgroup.procs           cpu.cfs_period_us     cpu.shares
cpuacct.stat           cpu.cfs_quota_us      cpu.stat
##查看test1容器的CPU使用限额。即每个调度周期内可占用的CPU时间（单位：微秒）
[root@localhost d875e00ffb157deb8b79aa8a9660f6ee8b3e3c8dd6842e2c091578e8081b0b3e]# cat cpu.cfs_quota_us
-1
[root@localhost d875e00ffb157deb8b79aa8a9660f6ee8b3e3c8dd6842e2c091578e8081b0b3e]# cat cpu.cfs_period_us
100000

（2）进行压力测试

[root@localhost ~]# docker exec -it test1 bash          #进入容器
[root@d875e00ffb15 /]# vi /cpu.sh                    #写个死循环脚本

#!/bin/bash
i=0
while true
do
 let i++
done

[root@d875e00ffb15 /]# chmod +x cpu.sh               
[root@d875e00ffb15 /]# ./cpu.sh 

#再开一个终端，查看cpu.sh进程的cpu使用率  
[root@localhost ~]# top               #可以看到使用率接近100%    
PID USER     PR NI   VIRT   RES   SHR S %CPU %MEM     TIME+ COMMAND    
3328 root      20   0   11688   1100    916 R  99.7  0.1   7:04.44 cpu.sh     

#之后在容器中使用ctrl+c，停止脚本的执行，再top观察CPU使用率

（3）创建容器时设置CPU使用时间限制

 #创建容器test2，并限制CPU使用时间为50000微秒，表示最多占用50%的CPU。
 [root@localhost ~]# docker run -itd --name test2 --cpu-quota 50000 centos:7
WARNING: IPv4 forwarding is disabled. Networking will not work.
8b7f33a61be0bed7ba85a22b9d4ba24db4627674cd1388d2017a11189ee2c7b1
#查看CPU限额文件
[root@localhost ~]# cd /sys/fs/cgroup/cpu/docker/
[root@localhost docker]# ls
8b7f33a61be0bed7ba85a22b9d4ba24db4627674cd1388d2017a11189ee2c7b1
cgroup.clone_children
cgroup.event_control
cgroup.procs
cpuacct.stat
cpuacct.usage
cpuacct.usage_percpu
cpu.cfs_period_us
cpu.cfs_quota_us
cpu.rt_period_us
cpu.rt_runtime_us
cpu.shares
cpu.stat
d875e00ffb157deb8b79aa8a9660f6ee8b3e3c8dd6842e2c091578e8081b0b3e
notify_on_release
tasks
[root@localhost docker]# cd 8b7f33a61be0bed7ba85a22b9d4ba24db4627674cd1388d2017a11189ee2c7b1
[root@localhost 8b7f33a61be0bed7ba85a22b9d4ba24db4627674cd1388d2017a11189ee2c7b1]# cat cpu.cfs_quota_us
50000

#登录容器test2，写个死循环脚本并运行
[root@localhost 8b7f33a61be0bed7ba85a22b9d4ba24db4627674cd1388d2017a11189ee2c7b1]# docker exec -it test2 bash
[root@8b7f33a61be0 /]# vi /cpu.sh

#!/bin/bash
i=0
while true
do
 let i++
done

[root@8b7f33a61be0 /]# chmod +x cpu.sh 
[root@8b7f33a61be0 /]# ./cpu.sh 

#再开一个终端，查看cpu使用率
[root@localhost ~]# top            #CPU使用率在50%左右
 PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                       
 16405 root      20   0   11688   1096    916 R  50.2  0.1   0:09.17 cpu.sh
 
 #容器的CPU使用时间限制设为50000，而调度周期为100000，表示容器占用50000/100000=50%的CPU。

设置CPU资源占用比（设置多个容器时才有效）

Docker 通过 --cpu-shares 指定CPU份额，默认值为1024，值为1024的倍数。

（1）创建两个容器，设置CPU资源占用比

#先删除所有容器
[root@localhost ~]# docker rm -f $(docker ps -aq)
8b7f33a61be0
d875e00ffb15

#创建两个容器为c1和c2 
#只有这2个容器的情况下，cpu资源分摊给这两个容器，512:1024等于1:2，一个占1/3，一个占2/3。
[root@localhost ~]# docker run -itd --name c1 --cpu-shares 512 centos:7
WARNING: IPv4 forwarding is disabled. Networking will not work.
5128001a76ebd812ec2bd2016511b9790134bc42cfd75c46427fb010fa81b733
[root@localhost ~]# docker run -itd --name c2 --cpu-shares 1024 centos:7
WARNING: IPv4 forwarding is disabled. Networking will not work.
d35d641aada35b82d82f1a63856f31ec22bfaa49bd04f70d0c98da21a5434c83
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE      COMMAND       CREATED          STATUS          PORTS     NAMES
d35d641aada3   centos:7   "/bin/bash"   19 seconds ago   Up 18 seconds             c2
5128001a76eb   centos:7   "/bin/bash"   31 seconds ago   Up 30 seconds             c1

（2）分别进入两个容器，进行压力测试

 #宿主机开启路由转发功能，使容器能够连通外网
 [root@localhost ~]# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
[root@localhost ~]# sysctl -p
net.ipv4.ip_forward = 1

#进入c1容器，进行压力测试
docker exec -it c1 bash 
yum install -y epel-release    #下载epel源  
yum install -y stress          #安装stress工具 
stress -c 4   #产生四个进程，每个进程都反复不停地计算随机数的平方根   

#进入c2容器，进行压力测试 
docker exec -it c2 bash  yum install -y epel-release    #下载epel源  
yum install -y stress          #安装stress工具 
stress -c 4   #产生四个进程，每个进程都反复不停的计算随机数的平方根

进入c1容器，进行压力测试：

进入c2容器，进行压力测试：

3）查看容器运行状态，观察CPU使用占比

 #再打开一个终端，查看容器运行状态(动态更新)
 [root@localhost ~]# docker stats 

CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O          BLOCK I/O        PIDS
d35d641aada3   c2        4.65%     204MiB / 1.781GiB     11.19%    34.8MB / 436kB   0B / 49.9MB      1
5128001a76eb   c1        0.00%     219.7MiB / 1.781GiB   12.05%    34.7MB / 356kB   117MB / 50.6MB   1

#因为宿主机有4核，所以CPU总百分比是400%。 
#c1:c2 = 133.03%:266.52% ≈ 1:2

设置容器绑定指定的CPU（绑核）

注意：CPU编号从0开始。编号1、3代表第二个核和第四个核。

 #先为虚拟机分配4个CPU核数
 
 #创建容器c3时，绑定1号和3号这两个CPU
 [root@localhost ~]# docker run -itd --name c3 --cpuset-cpus 1,3 centos:7 /bin/bash
 
 #进入容器，进行压力测试 
 docker exec -it c3 bash  yum install -y epel-release    #下载epel源  
 yum install -y stress          #安装stress工具 
 stress -c 4   #产生四个进程，每个进程都反复不停地计算随机数的平方根    
 
 #退出容器，执行top命令再按1查看CPU使用情况

对内存使用的限制

限制容器可以使用的最大内存

-m （或--memory=）选项用于限制容器可以使用的最大内存

 #-m(--memory=)选项用于限制容器可以使用的最大内存。
 
 #创建容器c4，并限制容器可以使用的最大内存为512m
 [root@localhost ~]# docker run -itd --name c4 -m 512m centos:7 /bin/bash
 
 #查看容器状态，可以看到c4可以使用的最大内存是512M
 [root@localhost ~]# docker stats
CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O          BLOCK I/O         PIDS
7673fd84b1bc   c4        0.00%     488KiB / 512MiB       0.09%     648B / 0B        90.1kB / 0B       1
9b8473d79a65   c3        0.00%     174.8MiB / 1.781GiB   9.59%     34.8MB / 418kB   57.1MB / 49.9MB   1
d35d641aada3   c2        0.00%     112.8MiB / 1.781GiB   6.18%     34.8MB / 436kB   0B / 49.9MB       1
5128001a76eb   c1        6.88%     126MiB / 1.781GiB     6.91%     34.7MB / 356kB   117MB / 50.6MB    1

限制容器可用的swap 大小

 #限制可用的swap 大小，--memory-swap
 ●强调一下， --memory-swap是必须要与 --memory（或-m）一起使用的。
 ●正常情况下， --memory-swap 的值包含容器可用内存和可用swap 。
 ●所以 -m 300m --memory-swap=1g 的含义为：容器可以使用300M 的物理内存，并且可以使用700M (1G - 300M)的swap。
 
 设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
 如果 --memory-swap 的值和 -m 值相同，则容器不能使用swap。
 如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。
复制代码

示例：

 #--memory-swap 的值包含容器可用内存和可用swap，减去-m的值才是可用swap的值。
 #表示容器可以使用512M的物理内存，并且可以使用512M的swap。因为1g减去512m的物理内存，剩余值才是可用swap。
 docker run -itd --name can01 -m 512m --memory-swap=1g centos:7 bash
 
 
 #--memoryswap值和 -m 的值相同，表示容器无法使用swap
 docker run -itd --name can02 -m 512m --memory-swap=512m centos:7 bash
 
 
 # --memory-swap 的值设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
 docker run -itd --name can03 -m 512m centos:7 bash
 
 
 # --memory-swap 值为 -1，它表示容器程序使用的内存受限，但可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。
 docker run -itd --name can04 -m 512m --memory-swap=-1 centos:7 bash

对磁盘IO的配置控制（blkio）的限制

--device-read-bps：限制某个设备上的读速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。

--device-write-bps : 限制某个设备上的写速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。

--device-read-iops :限制读某个设备的iops (次数)

--device-write-iops :限制写入某个设备的iops ( 次数)

 --device-read-bps:限制某个设备上的读速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
 例: docker run -itd --name test9 --device-read-bps /dev/sda:1M centos:7 /bin/bash
 #表示该容器每秒只能读取1M的数据量
 
 --device-write-bps : 限制某个设备上的写速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
 例: docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
 #表示该容器每秒只能写入1M的数据量
 
 --device-read-iops :限制读某个设备的iops (次数)
 --device-write-iops :限制写入某个设备的iops ( 次数)

创建容器，不限制写速度

 #创建容器jlx01，不限制写入速度
 docker run -it --name jlx01 centos:7 /bin/bash
 
 #通过dd来验证写速度，拷贝50M的数据
 dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct   #添加oflag参数以规避掉文件系统cache
 
 #创建容器jlx01，不限制写入速度
 [root@localhost ~]# docker run -it --name jlx01 centos:7 /bin/bash
 #通过dd来验证写速度，拷贝50M的数据到容器中
[root@498cbd039d4d /]# dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct
5+0 records in
5+0 records out
52428800 bytes (52 MB) copied, 0.0446957 s, 1.2 GB/s

#没有限制写速度的情况下，写入很快，0.09秒的时间内已写入50M的数据，写入速度为553M/s。

创建容器，并限制写速度

#创建容器，并限制写入速度为1MB/s，即每秒只能写入1MB的数据量。
[root@localhost ~]# docker run -it --name jlx02 --device-write-bps /dev/sda:1mb centos:7 bash
#通过dd来验证写速度，拷贝50M的数据到容器中
[root@834bf7696919 /]# dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct
5+0 records in
5+0 records out
52428800 bytes (52 MB) copied, 50.0121 s, 1.0 MB/s

#写入50M的数据，需要50s左右，因为限制了容器的写速度是 1.0 MB/s。

清除docker占用的磁盘空间

docker system prune -a 可用于清理磁盘，删除关闭的容器、无用的数据卷和网络。