前言
Cgroups简介：
功能和定位
cgroups：是一个非常强大的linux内核工具，他不仅可以限制被namespace 隔离起来的资源，还可以 为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。
Cgroups全称Control Groups，是Linux内核提供的物理资源隔离机制，通过这种机制，可以实现对Linux进程或者进程组的资源限制、隔离和统计功能。
比如可以通过cgroup限制特定进程的资源使用，比如使用特定数目的cpu核数和特定大小的内存，如果资源超限的情况下，会被暂停或者杀掉。
Cgroup是于2.6内核由Google公司主导引入的，它是Linux内核实现资源虚拟化的技术基石，LXC(Linux Containers)和docker容器所用到的资源隔离技术，正是Cgroup。
相关概念介绍
- 任务(task): 在cgroup中，任务就是一个进程。
- 控制组(control group): cgroup的资源控制是以控制组的方式实现，控制组指明了资源的配额限制。进程可以加入到某个控制组，也可以迁移到另一个控制组。
- 层级(hierarchy): 控制组有层级关系，类似树的结构，子节点的控制组继承父控制组的属性(资源配额、限制等)。
- 子系统(subsystem): 一个子系统其实就是一种资源的控制器，比如memory子系统可以控制进程内存的使用。子系统需要加入到某个层级，然后该层级的所有控制组，均受到这个子系统的控制。
概念间的关系：
- 子系统可以依附多个层级，当且仅当这些层级没有其他的子系统，比如两个层级同时只有一个cpu子系统，是可以的。
- 一个层级可以附加多个子系统。
- 一个任务可以是多个cgroup的成员，但这些cgroup必须位于不同的层级。
- 子进程自动成为父进程cgroup的成员，可按需求将子进程移到不同的cgroup中。
cgroup关系图如下：
两个任务组成了一个 Task Group，并使用了 CPU 和 Memory 两个子系统的 cgroup，用于控制 CPU 和 MEM 的资源隔离。
cgroups有四大功能：
- 资源限制：可以对任务使用的资源总额进行限制。
- 优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级。
- 资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等。
- 任务控制： cgroup可以对任务 执行挂起、恢复等操作。
一、cpu时间片的概念
时间片即CPU分配给各个程序的时间，每个线程被分配一个时间段，称作它的时间片，即该进程允许运行的时间，使各个程序从表面上看是同时进行的。如果在时间片结束时进程还在运行，则CPU将被剥夺并分配给另一个进程。如果进程在时间片结束前阻塞或结束，则CPU当即进行切换。而不会造成CPU资源浪费。
在宏观上：我们可以同时打开多个应用程序，每个程序并行不悖，同时运行。但在微观上：由于只有一个CPU，一次只能处理程序要求的一部分，如何处理公平，一种方法就是引入时间片，每个程序轮流执行。
二、对CPU使用的限制
2.1 设置CPU使用率上限
Linux通过CFS （Completely Fair Scheduler， 完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少CPU时间。
使用 --cpu-period 即可设置调度周期，使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS周期的有效范围是1ms ~ 1s， 对应的 --cpu-period 的数值范围是 1000 ~1000000 （单位微秒）。
而容器的CPU配额必须不小于1ms，即 --cpu-quota 的值必须 >= 1000。
1）查看容器的默认CPU使用限制
#创建并启动容器
[root@localhost ~]#docker run -itd --name test1 centos:7 /bin/bash
Unable to find image 'centos:7' locally
7: Pulling from library/centos
2d473b07cdd5: Pull complete
Digest: sha256:c73f515d06b0fa07bb18d8202035e739a494ce760aa73129f60f4bf2bd22b407
Status: Downloaded newer image for centos:7
4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0
#查看容器状态
[root@localhost ~]#docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
4102e43d0063 centos:7 "/bin/bash" 15 seconds ago Up 14 seconds test1
#切换到cgroup下针对容器的相关配置目录
[root@localhost ~]#cd /sys/fs/cgroup/cpu/docker/
[root@localhost docker]#ls
4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0 cpu.cfs_quota_us
cgroup.clone_children cpu.rt_period_us
cgroup.event_control cpu.rt_runtime_us
cgroup.procs cpu.shares
cpuacct.stat cpu.stat
cpuacct.usage notify_on_release
cpuacct.usage_percpu tasks
cpu.cfs_period_us
##切换到test1容器的目录
[root@localhost docker]#cd 4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0
[root@localhost 4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0]#lscgroup.clone_children cpuacct.usage cpu.rt_period_us notify_on_release
cgroup.event_control cpuacct.usage_percpu cpu.rt_runtime_us tasks
cgroup.procs cpu.cfs_period_us cpu.shares
cpuacct.stat cpu.cfs_quota_us cpu.stat
##查看test1容器的CPU使用限额。即每个调度周期内可占用的CPU时间（单位：微秒）
[root@localhost 4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0]#cat cpu.cfs_quota_us
-1 #默认为-1，表示不限制
##查看CPU调度周期（单位：微秒）
[root@localhost 4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0]#cat cpu.cfs_period_us
100000 #单位微秒，即100毫秒，0.1秒
#cpu.cfs_period_us：分配的周期（微秒，所以文件名中用u）,默认为100000。
#cpu.cfs_quota_us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。
#cpu.cfs_quota_us 如果设为50000，表示占用 50000/100000=50%的CPU。
（2）进行压力测试
[root@localhost ~]#docker exec -it test1 bash #进入容器
[root@4102e43d0063 /]# vi /cpu.sh #写个死循环脚本
#!/bin/bash
i=0
while true
do
let i++
done
[root@4102e43d0063 /]# chmod +x cpu.sh #给脚本权限
[root@4102e43d0063 /]# ./cpu.sh #运行脚本
#再开一个终端，查看cpu.sh进程的cpu使用率
[root@localhost ~]# top #可以看到使用率接近100%
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3495 root 20 0 11828 1024 616 R 100.0 0.1 1:05.27 bash
#之后在容器中使用ctrl+c，停止脚本的执行，再top观察CPU使用率
在容器中使用ctrl+c，停止脚本的执行，再top观察CPU使用率
3）创建容器时设置CPU使用时间限制
#创建容器test2，并限制CPU使用时间为50000微秒，表示最多占用50%的CPU。
[root@localhost ~]#docker run -itd --name test2 --cpu-quota 50000 centos:7
7e53d6e13408d0467f3f1c1313ba574a02bebff26ab39cb9260a3600adf46407
#查看CPU限额文件
[root@localhost ~]#cd /sys/fs/cgroup/cpu/docker/
[root@localhost docker]#ls
4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0 cpu.cfs_period_us
7e53d6e13408d0467f3f1c1313ba574a02bebff26ab39cb9260a3600adf46407 cpu.cfs_quota_us
cgroup.clone_children cpu.rt_period_us
cgroup.event_control cpu.rt_runtime_us
cgroup.procs cpu.shares
cpuacct.stat cpu.stat
cpuacct.usage notify_on_release
cpuacct.usage_percpu tasks
[root@localhost docker]#cd 7e53d6e13408d0467f3f1c1313ba574a02bebff26ab39cb9260a3600adf46407
[root@ 7e53d6e13408d0467f3f1c1313ba574a02bebff26ab39cb9260a3600adf46407]# cat cpu.cfs_quota_us
50000
#登录容器test2，写个死循环脚本并运行
[root@hostname ~]# docker exec -it test2 bash
[root@8e7ba758a231 /]# vi /cpu.sh
[root@localhost 7e53d6e13408d0467f3f1c1313ba574a02bebff26ab39cb9260a3600adf46407]#docker exec -it test2 bash
[root@7e53d6e13408 /]# vi /cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done
[root@7e53d6e13408 /]# chmod +x cpu.sh
[root@7e53d6e13408 /]# ./cpu.sh
#再开一个终端，查看cpu使用率
[root@hostname ~]# top #CPU使用率在50%左右
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
5617 root 20 0 11828 1008 608 R 49.8 0.0 1:44.11 bash
#容器的CPU使用时间限制设为50000，而调度周期为100000，表示容器占用50000/100000=50%的CPU。
（4）对已存在的容器进行CPU限制
直接修改 /sys/fs/cgroup/cpu/docker/容器id/cpu.cfs_quota_us 文件即可
#进入test1容器目录，修改CPU使用时间限制
[root@localhost docker]#pwd
/sys/fs/cgroup/cpu/docker
[root@localhost docker]#ls
4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0 cpu.cfs_period_us
7e53d6e13408d0467f3f1c1313ba574a02bebff26ab39cb9260a3600adf46407 cpu.cfs_quota_us
cgroup.clone_children cpu.rt_period_us
cgroup.event_control cpu.rt_runtime_us
cgroup.procs cpu.shares
cpuacct.stat cpu.stat
cpuacct.usage notify_on_release
cpuacct.usage_percpu tasks
[root@localhost docker]#cd 4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0
#修改CPU使用时间限制
[root@localhost 4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0]#echo "33000" >cpu.cfs_quota_us
[root@localhost 4102e43d0063956d8658586511edc73a20260c4c020be3f8d74d5aee102612d0]#cat cpu.cfs_quota_us
33000
#此时再进入test1容器执行之前创建好的脚本，进行压力测试
[root@localhost ~]# docker exec -it test1 bash
[root@4102e43d0063 /]# ./cpu.sh
#再开一个终端，查看cpu使用率
[root@localhost ~]# top
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4635 root 20 0 11688 1096 916 R 33.3 0.1 1:27.62 cpu.sh
#容器的CPU使用时间限制设为33000，而调度周期为100000，表示容器占用33000/100000=33%的CPU。
3.2 设置CPU资源占用比（设置多个容器时才有效）
Docker 通过 --cpu-shares 指定CPU份额，默认值为1024，值为1024的倍数。
（1）创建两个容器，设置CPU资源占用比
#先删除所有容器
[root@localhost ~]#docker rm -f $(docker ps -aq)
7e53d6e13408
4102e43d0063
#创建两个容器为c1和c2
#只有这2个容器的情况下，cpu资源分摊给这两个容器，512:1024等于1:2，一个占1/3，一个占2/3。
[root@localhost ~]#docker run -itd --name c1 --cpu-shares 512 centos:7
7fa2298bb572507a16941dec8d01b8936c3f4b2fe3974ddd84797672cba5e190
[root@localhost ~]#docker run -itd --name c2 --cpu-shares 1024 centos:7
9ac40bdd6e1e8aa3b80ef6b70d967f09cd4f06fd2b227a8471ded4a5835c8d83
[root@localhost ~]#docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9ac40bdd6e1e centos:7 "/bin/bash" 2 minutes ago Up 2 minutes c2
7fa2298bb572 centos:7 "/bin/bash" 2 minutes ago Up 2 minutes c1
[root@localhost ~]#
（2）分别进入两个容器，进行压力测试
#宿主机开启路由转发功能，使容器能够连通外网
[root@localhost ~]#echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
[root@localhost ~]#sysctl -p
net.ipv4.ip_forward = 1
#进入c1容器，进行压力测试
docker exec -it c1 bash
yum install -y epel-release #下载epel源
yum install -y stress #安装stress工具
stress -c 4 #产生四个进程，每个进程都反复不停地计算随机数的平方根
#进入c2容器，进行压力测试
docker exec -it c2 bash
yum install -y epel-release #下载epel源
yum install -y stress #安装stress工具
stress -c 4 #产生四个进程，每个进程都反复不停的计算随机数的平方根
（3）查看容器运行状态，观察CPU使用占比
#再打开一个终端，查看容器运行状态(动态更新)
[root@host ~]# docker stats #可以看到CPU使用占比大约是1:2
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
9ac40bdd6e1e c2 133.10% 189.5MiB / 1.938GiB 9.55% 34.4MB / 107kB 38.4MB / 50.7MB 7
7fa2298bb572 c1 66.49% 121.1MiB / 1.938GiB 6.10% 34.4MB / 143kB 4.94MB / 49.8MB 7
#因为宿主机有4核，所以CPU总百分比是400%。
#c1:c2 = %66.49:133.10% ≈ 1:2
3.3 设置容器绑定指定的CPU（绑核）
注意：CPU编号从0开始。 编号1、3代表第二个核和第四个核 。
#先为虚拟机分配4个CPU核数
#创建容器c3时，绑定1号和3号这两个CPU
[root@local ~]# docker run -itd --name c3 --cpuset-cpus 1,3 centos:7 /bin/bash
#进入容器，进行压力测试
docker exec -it c3 bash
yum install -y epel-release #下载epel源
yum install -y stress #安装stress工具
stress -c 4 #产生四个进程，每个进程都反复不停地计算随机数的平方根
#退出容器，执行top命令再按1查看CPU使用情况
[root@local ~]# top #可以看到CPU1和CPU3占满，其他CPU使用率为0
top - 01:12:49 up 4:01, 3 users, load average: 3.47, 2.96, 2.49
Tasks: 183 total, 6 running, 177 sleeping, 0 stopped, 0 zombie
%Cpu0 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu2 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu3 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 2031912 total, 150852 free, 635800 used, 1245260 buff/cache
KiB Swap: 4194300 total, 4194236 free, 64 used. 1138692 avail Mem
四、对内存使用的限制
4.1 限制容器可以使用的最大内存
-m （或--memory=）选项用于限制容器可以使用的最大内存
#-m(--memory=)选项用于限制容器可以使用的最大内存。
#创建容器c4，并限制容器可以使用的最大内存为512m
[root@lost ~]# docker run -itd --name c4 -m 512m centos:7 /bin/bash
#查看容器状态，可以看到c4可以使用的最大内存是512M
[root@lost ~]# docker stats
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
7fd411e2bb53 c4 0.00% 396KiB / 512MiB 0.08% 648B / 0B 0B / 0B 1
9ac40bdd6e1e c2 0.00% 189MiB / 1.938GiB 9.52% 34.4MB / 107kB 38.4MB / 50.7MB 1
7fa2298bb572 c1 0.00% 120.5MiB / 1.938GiB 6.07% 34.4MB / 143kB 4.94MB / 49.8MB 1
4.2 限制容器可用的swap 大小
#限制可用的swap 大小，--memory-swap
●强调一下， --memory-swap是必须要与 --memory（或-m）一起使用的。
●正常情况下， --memory-swap 的值包含容器可用内存和可用swap 。
●所以 -m 300m --memory-swap=1g 的含义为：容器可以使用300M 的物理内存，并且可以使用700M (1G - 300M)的swap。
设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
如果 --memory-swap 的值和 -m 值相同，则容器不能使用swap。
如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。
示例：
#--memory-swap 的值包含容器可用内存和可用swap，减去-m的值才是可用swap的值。
#表示容器可以使用512M的物理内存，并且可以使用512M的swap。因为1g减去512m的物理内存，剩余值才是可用swap。
docker run -itd --name yy01 -m 512m --memory-swap=1g centos:7 bash
#--memoryswap值和 -m 的值相同，表示容器无法使用swap
docker run -itd --name yy02 -m 512m --memory-swap=512m centos:7 bash
# --memory-swap 的值设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
docker run -itd --name yy03 -m 512m centos:7 bash
# --memory-swap 值为 -1，它表示容器程序使用的内存受限，但可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。
docker run -itd --name yy04 -m 512m --memory-swap=-1 centos:7 bash
五、对磁盘IO的配置控制（blkio）的限制
--device-read-bps：限制某个设备上的读速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
--device-write-bps : 限制某个设备上的写速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
--device-read-iops :限制读某个设备的iops (次数)
--device-write-iops :限制写入某个设备的iops ( 次数)
--device-read-bps:限制某个设备上的读速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
例: docker run -itd --name test9 --device-read-bps /dev/sda:1M centos:7 /bin/bash
#表示该容器每秒只能读取1M的数据量
--device-write-bps : 限制某个设备上的写速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
例: docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
#表示该容器每秒只能写入1M的数据量
--device-read-iops :限制读某个设备的iops (次数)
--device-write-iops :限制写入某个设备的iops ( 次数)
5.1 创建容器，不限制写速度
#创建容器tt01，不限制写入速度
docker run -it --name tt01 centos:7 /bin/bash
#通过dd来验证写速度，拷贝50M的数据
dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct #添加oflag参数以规避掉文件系统cache
#创建容器tt01，不限制写入速度
[root@host ~]# docker run -it --name tt01 centos:7 /bin/bash
#通过dd来验证写速度，拷贝50M的数据到容器中
[root@70b16752f38a /]# dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct
#添加oflag参数以规避掉文件系统cache
5+0 records in
5+0 records out
52428800 bytes (52 MB) copied, 50.0057 s, 1.0 MB/s
#没有限制写速度的情况下，写入很快，0.09秒的时间内已写入50M的数据，写入速度为553M/s。
六、清除docker占用的磁盘空间
docker system prune -a 可用于清理磁盘，删除关闭的容器、无用的数据卷和网络。
示例：
#查看容器
[root@localhost ~]#docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
70b16752f38a centos:7 "bash" 6 minutes ago Exited (0) 2 minutes ago tt02
3028c340915d centos:7 "/bin/bash" 9 minutes ago Exited (0) 7 minutes ago tt01
8198e8628b98 centos:7 "bash" 10 minutes ago Up 10 minutes yy01
7fd411e2bb53 centos:7 "/bin/bash" 13 minutes ago Up 13 minutes c4
9ac40bdd6e1e centos:7 "/bin/bash" 34 minutes ago Up 34 minutes c2
7fa2298bb572 centos:7 "/bin/bash" 34 minutes ago Up 34 minutes c1
#清理磁盘，删除关闭的容器、无用的数据卷和网络。
[root@loocal ~]# docker system prune -a
WARNING! This will remove: #提示
- all stopped containers #删除清理所有停止的容器
- all networks not used by at least one container #删除未被使用的网络
- all images without at least one container associated to them #未被使用的镜像
- all build cache #删除已建立的缓存
Are you sure you want to continue? [y/N] y #是否确定删除
Deleted Containers:
70b16752f38aa4a58ae680c7f308cbc86041a4f114f6330a1f79c251fa90217b
3028c340915d2e4cd500399def70553b694e7857f85fdb2d8cb4fc10b4f46a22
Total reclaimed space: 104.9MB
#再次查看容器，只剩下启动中的容器
[root@localhost ~]#docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
8198e8628b98 centos:7 "bash" 10 minutes ago Up 10 minutes yy01
7fd411e2bb53 centos:7 "/bin/bash" 14 minutes ago Up 14 minutes c4
9ac40bdd6e1e centos:7 "/bin/bash" 34 minutes ago Up 34 minutes c2
7fa2298bb572 centos:7 "/bin/bash" 34 minutes ago Up 34 minutes c1
概述
对cpu的限制参数
docker run -cpu-period #设置调度周期时间1000~1000000
-cpu-quota #设置容器进程的CPU占用时间，要与调度周期时间成比例
--cpu-shares #设置多个容器之间的CPU资源占用比
--cpuset-cpus #绑核（第一个CPU编号从0开始）对内存的限制
-m 物理内存 [--memory-swap=总值]
对磁盘IO的限制
--device-read-bps 设备文件:1mb/1M #限制读速度
--device-write-bps 设备文件:1mb/1M #限制写速度
--device-read-iops #限制读次数
--device-write-iops #限制写次数\docker system prune -a #清理磁盘，删除关闭的容器、无用的数据卷和网络。
