---

cgroups简介

cgroups，是一个非常强大的linux内核工具，他不仅可以限制被namespace 隔离起来的资源，还可以 为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。

cgroups有四大功能

• 资源限制：可以对任务使用的资源总额进行限制。

• 优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级。

• 资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等。

• 任务控制： cgroup可以对任务 执行挂起、恢复等操作。

Docker 通过cgroup 来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。

cpu时间片的概念

时间片即CPU分配给各个程序的时间，每个线程被分配一个时间段，称作它的时间片，即该进程允许运行的时间，使各个程序从表面上看是同时进行的。如果在时间片结束时进程还在运行，则CPU将被剥夺并分配给另一个进程。如果进程在时间片结束前阻塞或结束，则CPU当即进行切换。而不会造成CPU资源浪费。

在宏观上：我们可以同时打开多个应用程序，每个程序并行不悖，同时运行。但在微观上：由于只有一个CPU，一次只能处理程序要求的一部分，如何处理公平，一种方法就是引入时间片，每个程序轮流执行。

对CPU使用的限制

CPU在处理进程的时候实际上是在一个周期内，给这个进程分配的时间，让时间分片再让CPU进行处理

CPU时间默认为100ms

如果此时只想单独让进程一单独享受CPU 50%的速度，那么就要分配给进程一50ms的时间，另外两个可以平均分配剩下的50%的调度周期即50ms的时间，也可以自定义进程二使用40%，那么进程3就只能使用10%，三个进程的时间周期，加在一起必须是100ms，如果设定超过了100ms，CPU在满负荷运行的状态下，可能会出现进程卡死，甚至宕机。

如果不想使用默认的时间，可以自己设置，但是三个进程的周期时间加在一起也必须是我们设定的时间范围。

在特殊的一些场景是可以超负荷运行CPU的，但是不可能让一直超负荷运行，所以还是要在范围值内合理分配进程的使用率。

设置CPU使用率上限

Linux通过CFS （Completely Fair Scheduler， 完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。

我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少CPU时间。

• 使用 --cpu-period 即可设置调度周期，使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
• CFS周期的有效范围是1ms ~ 1s， 对应的 --cpu-period 的数值范围是 1000 ~1000000 （单位微秒）。
• 而容器的CPU配额必须不小于1ms，即 --cpu-quota 的值必须 >= 1000。

查看容器的默认CPU使用限制

• cpu.cfs_period_us：分配的周期（微秒，所以文件名中用u）,默认为100000。  
• cpu.cfs_quota_us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。
• cpu.cfs_quota_us 如果设为50000，表示占用 50000/100000=50%的CPU。

如果说现在有5个容器正在同时运行，此时有一台容器没有做CPU的限制，此时这台没有做限制的容器突然出现了bug，使CPU的使用率达到了顶峰，但是别的容器也在同时在运行，这样就会是的CPU超负荷运作，会使得机器宕机。这样别的容器业务也会停止。

进行压力测试

创建容器时设置CPU使用时间限制

登录容器test2，写个死循环脚本并运行

容器的CPU使用时间限制设为50000，而调度周期为100000，表示容器占用50000/100000=50%的CPU。

对已存在的容器进行CPU限制

直接修改 /sys/fs/cgroup/cpu/docker/容器id/cpu.cfs_quota_us 文件

再进入test1容器执行之前创建好的脚本，进行压力测试

容器的CPU使用时间限制设为25000，而调度周期为100000，表示容器占用25000/100000=25%的CPU。

设置CPU资源占用比（设置多个容器时才有效）

Docker 通过 --cpu-shares 指定CPU份额，默认值为1024，值为1024的倍数。

创建两个容器，设置CPU资源占用比

分别进入两个容器，进行压力测试

进入c1容器，进行压力测试

进入c2容器，进行压力测试

查看容器运行状态，观察CPU使用占比

• 可以看到在 CPU 进行时间片分配的时候，容器 c2比容器c1多一倍的机会获得 CPU 的时间片。

• 但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器c1一定能获得 CPU 时间片 比如容器a1的进程一直是空闲的，那么容器c2 是可以获取比容器c1更多的 CPU 时间片的。极端情况下，例如主机上只运行了一个容器，即使它的 CPU 份额只有 50，它也可以独占整个主机的 CPU 资源。

• Cgroups 只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的 CPU 份额来确定有多少CPU 资源分配给它，资源分配结果取决于同时运行的其他容器的 CPU 分配和容器中进程运行情况。

设置容器绑定指定的CPU（绑核）

注意：CPU编号从0开始。

例如：编号1、3代表第二个核和第四个核 。

实际操作

进入容器，进行压力测试

执行top命令再按1查看CPU使用情况

对内存使用的限制

限制容器可以使用的最大内存

-m （或--memory=）选项用于限制容器可以使用的最大内存

限制容器可用的swap 大小

限制可用的swap 大小，--memory-swap

• --memory-swap是必须要与 --memory（或-m）一起使用的。
• 正常情况下， --memory-swap 的值包含容器可用内存和可用swap 。
• 所以 -m 300m --memory-swap=1g 的含义为：容器可以使用300M 的物理内存，并且可以使用700M (1G - 300M)的swap。

不同数值含义

• 设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
• 如果 --memory-swap 的值和 -m 值相同，则容器不能使用swap。
• 如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。

示例

• --memory-swap 的值包含容器可用内存和可用swap，减去-m的值才是可用swap的值。

  • 表示容器可以使用512M的物理内存，并且可以使用512M的swap。因为1g减去512m的物理内存，剩余值才是可用swap。
  • docker run -itd --name c1 -m 512m --memory-swap=1g centos:7 bash

• --memoryswap值和 -m 的值相同，表示容器无法使用swap

  • docker run -itd --name c2 -m 512m --memory-swap=512m centos:7 bash

• --memory-swap 的值设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。

  • docker run -itd --name c3 -m 512m centos:7 bash

• --memory-swap 值为 -1，它表示容器程序使用的内存受限，但可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。

  • docker run -itd --name c4 -m 512m --memory-swap=-1 centos:7 bash

对磁盘IO的配置控制（blkio）的限制

•  --device-read-bps:限制某个设备上的读速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。

  •  例: docker run -itd --name test9 --device-read-bps /dev/sda:1M centos:7 /bin/bash
  •  表示该容器每秒只能读取1M的数据量

•  --device-write-bps : 限制某个设备上的写速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。

  •  例: docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
  •  表示该容器每秒只能写入1M的数据量

•  --device-read-iops :限制读某个设备的iops (次数)

•  --device-write-iops :限制写入某个设备的iops ( 次数)

创建容器，不限制写速度

没有限制写速度的情况下，写入很快，0.067秒的时间内已写入50M的数据，写入速度为779M/s。

创建容器，并限制写速度

写入50M的数据，需要50s左右，因为限制了容器的写速度是 1.0 MB/s。

清除docker占用的磁盘空间

docker system prune -a 可用于清理磁盘，删除关闭的容器、无用的数据卷和网络。

总结

对cpu的限制参数

 docker run -cpu-period     #设置调度周期时间1000~1000000
            -cpu-quota      #设置容器进程的CPU占用时间，要与调度周期时间成比例
            --cpu-shares    #设置多个容器之间的CPU资源占用比
            --cpuset-cpus   #绑核（第一个CPU编号从0开始）

对内存的限制

 -m 物理内存 [--memory-swap=总值]

对磁盘IO的限制

 --device-read-bps 设备文件:1mb/1M     #限制读速度
 --device-write-bps 设备文件:1mb/1M    #限制写速度
 --device-read-iops                   #限制读次数
 --device-write-iops                  #限制写次数

 docker system prune -a    #清理磁盘，删除关闭的容器、无用的数据卷和网络。