这是我参与「第四届青训营 」笔记创作活动的的第18天
一、本课堂重点内容
前情提问：
1.如何部署你的WordPress应用（Mysql）？
登录服务器，安装各种依赖，然后手动、脚本启动？自己编译，打包镜像、手动/脚本启动容器？
如何在K8S里面部署WP应用？
二、详细知识点介绍：
本节课程主要分为四个方面：
- Kubernetes 简介
- Kubernetes 资源管理
- Kubernetes 调度
- 实践案例分析
01.Kubernetes 简介
1.1 K8S
-
Kubernetes 简介：
- 特点:便携，可扩展，开源
- 目的∶管理容器应用和服务
- 作用:声明式配置和自动化
-
Kubernetes 概念
- Pod（最小应用单位）
- Volume/PV/PVC/StorageClass（pvc用户配置）
- Deployment（负载均衡）
- StatefulSet（pod的一个封装、强调每个pod可以挂不同的存储卷，各个装置不能打扰彼此）
- Node
-
架构
- ETCD、APIServer、Controller-manager、Scheduler、Kubelet、Kube-proxy
-
资源管理
- 能管理哪些资源
- 如何管理？（如何上报，如何分配，如何回收，如何维护状态）
-
调度
- 如何表达应用申请？
- 调度框架
-
部署实例
- 如何部署 Mysql 和 WordPress
1.1.1为什么需要 Kubernetes ？
-
容器相比于传统的虚拟化技术，更轻量，更敏捷，更易于管理，运维成本更低；
- 一次打包，任意地方运行
-
如果容器规模巨大，如何编排管理容器也是个巨大的挑战，需要一个强大的管理系统，Kubernetes 在这方面表现很好
- 基于 google 超过 15 年的大规模容器管理经验；
- 功能丰富，易于扩展，架构优雅；
- 社区活跃，仅次于 Linux 的全球第二大社区；
1.1.2 Kubernetes 定义
- 便携，可扩展，开源的容器管理平台
1.1.3 Kubernetes 特性
- 服务发现和负载均衡
- 存储编排
- 自动发布，回滚
- 自愈
- 秘钥，配置管理
- 资源管理，应用编排调度
1.1.4 Kubernetes 几个核心概念
- Pod
- PVC/PV/StorageClass
- Deployment
- Statefulset
- Node
Kubernetes 架构
-
ETCD
- 持久化数据中心
- 维护集群中所有数据的有序性和一致性
- 事件机制同步数据变更
-
APIServer
- 对所有组件提供 API 接口
- 负责 admission，鉴权等功能
- 提供后端 etcd 数据 cacher，降低 ETCD 压力
- 结合 ETCD，提供 List-Watch 机制
-
Controller-manager
- 提供一系列控制器，负责维护各种对象的生命周期 比如： Node controller， PV controller， Deployment controller， StatefulSet controller 等
-
Kubelet
- 基于 Pod 声明，真正开始启动容器，负责容器生命周期维护
-
Kube-proxy
- 网络代理，负责维护节点网络规则，接管 Pod 出入流量
1.1.5 Kubernetes核心通信机制-List-Watch
1.1.6 Kubernetes 核心功能
服务发现和负载均衡 存储编排 自动回复、回滚 自愈 密钥，配置管理 资源管理、应用编排调度
02.Kubernetes 资源管理
2.1 资源种类：
-
计算类
- 原生： CPU，memory，等；
- 可通过 Device plugin 方式支持的非原生： numa，socket。。。
-
存储类
-
原生：
- 临时存储： Ephemeral storage，EmptyDir 等
- 持久化 (PV): Cinder, RBD, Cephfs, NFS, GlusterFS...
-
可以通过 CSI 方式扩展支持其他存储；
-
2.2 资源上报：
-
计算资源上报：
- cAdvisor -> Kubelet -> Node
- Agent -> Device plugin -> Kubelet -> Node
-
存储资源上报：
-
临时存储：
- cAdvisor -> Kubelet -> Node
-
持久化存储：
- 托管到存储提供商管理
-
2.3 资源分配：
-
计算资源分配：
- Kubelet -> cgroup manager -> cpu, memory...
- Kubelet -> device manager -> extended resources
-
存储资源分配：
- Controller manager -> provisioner -> attacher -> mounter
2.4 资源状态维护：
-
计算资源状态维护：
- kubelet/cgroup manager/device manager/evictioner manager -> cpu, memory, extended resources
-
存储资源维护
- PV controller -> PV/PVC
2.5 资源回收：
-
计算资源回收：
- Kubelet -> cgroup manager -> cpu, memory...
- Kubelet -> device manager -> extended resources
-
存储资源回收：
- Controller manager -> unmounter -> detacher -> deleter
03. Kubernetes 调度
3.1 调度框架：
主要分为几个步骤：
-
过滤
- Pre-Filter: 进行一些全局的准备工作，防止流程中多次重复计算；
- Filter: 基于 Pod 的约束，进行 Pod -> Node 的匹配工作；
- Post-Filter: 如果没有一个合适的节点，则进行一些抢占行为（驱逐低优任务），看是否能找到合适节点；
-
打分
- 基于前面的过滤节点，对合适的节点进行打分，按照分值高低进行排序；
- 如果前面没有合适的节点，则直接调度失败；
-
任务分配
-
Reserve: 在调度器 cache 里面缓存调度结果，为了解决异步 API 操作带来的时延问题；
-
Permit： 扩展接口，可以在这里支持一些扩展语音，比如： Gang 等；
-
结果有三类： 失败，成功，等待
- 失败： 直接返回调度失败结果；
- 成功： 直接通过；
- 等待： 则异步等待，不阻塞其他流程；
-
-
Pre-Bind: 任务运行前的一些准备操作，比如： 动态创建 Volume 等；
-
Bind: 把 Pod 绑定到 Node，即： 给应用分配运行节点；
-
04.案例分析
4.1 Kubernetes 与 Yarn 的一些不同点：
-
基本单位：
- Yarn： Container；
- Kubernetes： Pod；
-
资源管理的扩展能力：
- Yarn： 没提供 Plugin 机制，侵入性较大；
- Kubernetes： plugin 机制扩展，侵入性小；
-
调度模式：
- Yarn: Node -> Task
- Kubernetes: Task -> Node
-
系统设计
- Yarn: 节点缓存，无核心中心化存储；
- Kubernetes： 中心化存储；
4.2 Kubernetes 在哪些地方可以更好：
- 非原生资源的精细化管理能力
- 动态资源的接入，管理能力；
- 更多场景的调度功能和性能优化；
- 调度质量；
4.3 字节的一些工作：
-
非原生资源：
- Socket, numa, local disk, NIC, mbw...
-
动态资源：
- CPU 实时负载，利用率...
-
调度功能&性能优化：
- Gang
- 应用级别亲和性约束能力支持；
- 微拓扑调度能力支持；
- 资源预留；
- 系统重构： 分布式系统
- 等
-
调度质量改善：
- 重调度；
- 业务上下游亲和性策略；
- 实时负载均衡策略；
- 碎片整理，优化等
三、个人总结：
- 进一步了解 Kubernetes 核心组件的工作原理；
- Kubernetes 如何实现其他的核心能力，比如： 服务发现&负载均衡， 以及自愈等？
- Kubernetes 如何实现其最核心的通信机制： List-Watch ？
- 利用 Device plugin 机制，实现一种非原生计算资源的管理；
- 利用 CSI 机制，实现一种非原生的存储管理；
- 利用 Kubernetes scheduler framework 机制，实现另一种约束（比如：基于节点实时负载，均衡调度）的调度支持；
