深入理解 K8S 资源管理和调度 | 青训营笔记

这是我参与「第四届青训营」笔记创作活动的的第17天，本篇笔记主要是关于第十七次大数据课程《深入理解 K8S 资源管理和调度》的课堂笔记

Kubernetes简介

ETCD
- 持久化数据中心
- 维护集群中所有数据的有序性和一致性
- 事件机制同步数据变更
APIServer
- 对所有组件提供 API 接口
- 负责 admission，鉴权等功能
- 提供后端 etcd 数据 cacher，降低 ETCD 压力
- 结合 ETCD，提供 List-Watch 机制
Controller-manager
- 提供一系列控制器，负责维护各种对象的生命周期比如：Node controller，PV controller，Deployment controller，StatefulSet controller等
Kubelet
- 基于 Pod 声明，真正开始启动容器，负责容器生命周期维护
Kube-proxy
- 网络代理，负责维护节点网络规则，接管 Pod 出入流量

计算类
- 原生： CPU，memory，等；
- 可通过 Device plugin 方式支持的非原生： numa，socket。。。
存储类
- 原生：
  - 临时存储： Ephemeral storage，EmptyDir 等
  - 持久化 (PV): Cinder, RBD, Cephfs, NFS, GlusterFS...
- 可以通过 CSI 方式扩展支持其他存储；

计算资源上报：
- cAdvisor -> Kubelet -> Node
- Agent -> Device plugin -> Kubelet -> Node
存储资源上报：
- 临时存储：
  - cAdvisor -> Kubelet -> Node
- 持久化存储：
  - 托管到存储提供商管理

计算资源状态维护：
- kubelet/cgroup manager/device manager/evictioner manager -> cpu, memory, extended resources
存储资源维护
- PV controller -> PV/PVC

计算资源回收：
- Kubelet -> cgroup manager -> cpu, memory...
- Kubelet -> device manager -> extended resources

过滤
- Pre-Filter: 进行一些全局的准备工作，防止流程中多次重复计算；
- Filter: 基于 Pod 的约束，进行 Pod -> Node 的匹配工作；
- Post-Filter: 如果没有一个合适的节点，则进行一些抢占行为（驱逐低优任务），看是否能找到合适节点；
打分
- 基于前面的过滤节点，对合适的节点进行打分，按照分值高低进行排序；
- 如果前面没有合适的节点，则直接调度失败；
任务分配
- Reserve: 在调度器 cache 里面缓存调度结果，为了解决异步 API 操作带来的时延问题；
- Permit：扩展接口，可以在这里支持一些扩展语音，比如： Gang 等；
  - 结果有三类：失败，成功，等待
    - 失败：直接返回调度失败结果；
    - 成功：直接通过；
    - 等待：则异步等待，不阻塞其他流程；
- Pre-Bind: 任务运行前的一些准备操作，比如：动态创建 Volume 等；
- Bind: 把 Pod 绑定到 Node，即：给应用分配运行节点；