团队介绍

360运维开发团队，作为一支技术导向型团队，为HULK云平台在容器化、微服务、AIOPS、自动化运维等领域积累了丰富经验。更多技术好文欢迎访问团队技术博客：www.opsdev.cn

笔者最近在调研Kubernetes持久化存储，准备写一两篇关于这方面的文章，一是作为记录，二是可以给需要的同学作为一个参考。

Kubernetes存储的应用场景

Kubernetes中对于存储的使用主要集中在以下几个方面：

服务配置文件读取、密钥管理等；
服务的存储状态、数据存取等；
不同服务或应用程序之间共享数据。

Kubernetes持久化概念

Kubernetes使用两种API资源来管理存储，分别是PersistentVolume和PersistentVolumeClaim，下面分别介绍下这两种资源的概念：

PersistentVolume（简称PV）：由管理员设置的存储，它是集群的一部分。就像节点(Node)是集群中的资源一样，PV也是集群中的资源。它包含存储类型，存储大小和访问模式。它的生命周期独立于Pod，例如当使用它的Pod销毁时对PV没有影响。

PersistentVolumeClaim（简称PVC）：是用户存储的请求，它和Pod类似。Pod消耗Node资源，PVC消耗PV资源。Pod可以请求特定级别的资源(CPU和MEM)。PVC可以请求特定大小和访问模式的PV。

Kubernetes可以使用三种方式来访问存储资源：

直接访问

该种方式移植性比较差，可扩展能力差，把Volume的基本信息完全暴露给用户，有安全隐患。

静态PV

集群管理员创建一些PV。它们带有可供集群用户使用的实际存储的细节，之后便可用于PVC消费。

注意：这种方式请求的PVC必须要与管理员创建的PV保持一致，如：存储大小和访问模式，否则不会将PVC绑定到PV上。

动态PV

当管理员创建的静态PV都不匹配用户的PVC时，集群可以使用动态的为PVC创建卷，此配置基于StorageClass。

PVC请求存储类(StorageClass)，且管理员必须要创建并配置该StorageClass，该StorageClass才能进行动态的创建。

Kubernetes数据持久化demo

好了，上面已经对Kubernetes持久化要用的概念进行了介绍，但是这些只是基本的概念，如果想要系统的了解请看官方文档。

在实验前，你需要有一个可以使用的Kubernetes和Ceph集群，这里不介绍这两个集群的搭建了。进行实验前最好先看下官方文档persistent-volumes（https://kubernetes.io/docs/concepts/storage/persistent-volumes/#persistent-volumes）

实验环境

Kubernetes集群版本：1.9.0

Ceph集群版本：10.2.10

安装Ceph-common包

在Kubernetes集群的所有Node上安装Ceph-common包，具体的操作指令如下：

# yum install -y ceph-common

静态PV

创建Ceph secret

在Ceph mon节点运行ceph auth get-key client.admin命令获取admin的key。定义一个Ceph secret文件。

apiVersion: v1

kind: Secret

metadata:

data:

key: QVFBOFF2SlZheUJQRVJBQWgvS2cwT1laQUhPQno3akZwekxxdGc9PQ==

注意：文件中的key需要在Ceph mon节点使用ceph auth get-key client.admin | base64命令对获取的key进行base64。

保存定义的文件，如ceph-secret.yaml，之后创建一个secret：

# kubectl create -f ceph-secret.yaml

secret "ceph-secret" created

创建Persistent Volume

创建一个PV对象，使用下面文件的定义：

apiVersion: v1

kind: PersistentVolume

metadata:

spec:

capacity:

storage: 2Gi

accessModes:

- ReadWriteOnce

rbd:

monitors:

- mon-hosts:6789

pool: rbd

image: ceph-image

user: admin

secretRef:

fsType: ext4

readOnly: false

persistentVolumeReclaimPolicy: Recycle

注意：我们这里直接使用了Ceph默认的pool rbd，由于文件中使用了Ceph-image，所以需要在Ceph集群中创建该镜像。rbd create ceph-image -s 128。

保存定义的PV文件，如Ceph-pv.yaml，并创建一个PV：

# kubectl create -f ceph-pv.yaml

persistentvolume "ceph-pv" created

查看PV的状态是否正常，如果获取的状态是Available则说明该PV处于可用状态，并且没有被PVC绑定。

创建Persistent Volume Claim

PVC需要指定访问模式和存储的大小，当前只支持这两个属性，一个PVC绑定到一个PV上。一旦PV被绑定到PVC上就不能被其它的PVC所绑定。它们是一对一的关系。但是多个Pod可以使用同一个PVC进行卷的挂载。

PVC的定义文件如下：

kind: PersistentVolumeClaim

apiVersion: v1

metadata:

spec:

accessModes:

- ReadWriteOnce

resources:

requests:

storage: 2Gi

保存定义的文件，并基于该文件创建PVC，并检查其状态，如果状态为Bound则说明该PVC已经绑定到PV，如果状态为Pending或Failed则表示PVC绑定PV失败，可用通过查看PVC事件或者Kubernetes各个组件日志进行错误排查。

# kubectl create -f task-claim.yaml

persistentvolumeclaim "ceph-claim" created

创建Pod

定义一个Pod，在Pod里面启动一个container，并使用PVC去挂载Ceph RBD卷为读写模式。

apiVersion: v1

kind: Pod

metadata:

spec:

containers:

- name: ceph-busybox

image: busybox

command: ["sleep", "60000"]

volumeMounts:

- name: ceph-vol1

mountPath: /usr/share/busybox

readOnly: false

volumes:

- name: ceph-vol1

persistentVolumeClaim:

claimName: ceph-claim

保存Pod的定义文件，如: ceph-pod.yaml，并创建该Pod。之后查看Pod的状态，如果Running则表示卷挂载成功，Pod正常运行。这样便可以做个简单的操作，进行到该Pod的容器中，向/usr/share/busybox 目录写入一些数据，之后删除该Pod，再创建一个新的Pod，看之前的数据是否还存在。

#kubectl create -f ceph-pod.yaml

pod "ceph-pod2" created

动态PV

创建RBD pool

虽然Ceph提供了默认的pool rbd，但是建议创建一个新的pool为Kubernetes持久化使用，在Ceph的monitors节点创建一个名为kube的pool。

# ceph osd pool create kube 1024

# ceph auth get-or-create client.kube mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=kube' -o ceph.client.kube.keyring

创建Ceph secret

与静态创建的Ceph-secret是同一个，这里就不重复创建。

创建Kube用户的Ceph secret

在Ceph monitors节点运行命令ceph auth get-key client.kube获取kube用户的key，并对该用户key进行base64用于下面的文件。

apiVersion: v1

kind: Secret

metadata:

namespace: default

data:

key: QVFCbEV4OVpmaGJtQ0JBQW55d2Z0NHZtcS96cE42SW1JVUQvekE9PQ==

type:

kubernetes.io/rbd

保存定义的Ceph secret文件，如ceph-kube-secret.yaml。执行如下命令创建secret：

# kubectl create -f ceph-kube-secret.yaml

secret "ceph-kube-secret" created

查看secret是否创建成功。

创建动态RBD StorageClass

在创建StorageClass资源前，先介绍下StorageClass的概念：StorageClass 为管理员提供了描述存储 class 的方法。不同的 class 可能会映射到不同的服务质量等级或备份策略，或由群集管理员确定的任意策略。 Kubernetes 本身不清楚各种 class 代表的什么。这个概念在其他存储系统中有时被称为“配置文件”。StorageClass不仅仅使用与ceph RBD还可以用于Cinder，NFS，Glusterfs等等。

好了，下面我们来创一个动态的storage class。定义文件如下：

kind: StorageClass

metadata:

annotations:

storageclass.beta.kubernetes.io/is-default-class: "true"

provisioner: kubernetes.io/rbd

parameters:

monitors: 10.139.206.209:6789

adminId: admin

adminSecretName: ceph-secret

adminSecretNamespace: kube-system

pool: kube

userId: kube

userSecretName: ceph-kube-secret

fsType: ext4

imageFormat: "1"

保存文件，并创建storage class。

# kubectl create -f rbd-storage-class.yaml

storageclass "dynamic" created

检查storage class是否创建成功。

创建Persistent Volume Claim

具体的描述细节请看创建静态PV时，对PVC的描述,或查看官方文档。现在我们直接定义PVC文件。

kind: PersistentVolumeClaim

apiVersion: v1

metadata:

spec:

accessModes:

rs ReadOnlyMany

resources:

requests:

storage: 1Gi

保存定义的文件，并创建该PVC。

# kubectl create -f static-ceph-pvc.yaml

persistentvolumeclaim "ceph-claim" created

检查PVC是否创建成功，并查看PVC的状态，如果PVC的状态为Bound则表示已经绑定到PV了。

这里详细的说下，在Kubernetes中一个指定访问模式和存储大小的PVC只能绑定到指定访问权限和存储大小的PV上，但是这样需要集群管理员手动的创建PV，就很麻烦。

为了减少管理员的工作，管理员可以创建一个storageclass的资源，当指定规格的PVC请求的时候，StorageClass会动态的给该PVC提供一个PV。

我们查看下该PVC是否被该StorageClass绑定一个符合需求的PV上。我们执行下面的命令：

我们看到ceph-claim这个PVC已经绑定到了pvc-c32aca7e-38cd-11e8-af69-f0921c10a7bc这个PV，而该PV是由名为dynamic的storageclass动态创建的。

创建Pod

我们定义一个Pod来将刚刚创建的PVC挂载到该Pod的容器中去。我们定义的Pod的文件内容如下：

apiVersion: v1

kind: Pod

metadata:

spec:

containers:

- name: ceph-busybox

image: busybox

command: ["sleep", "60000"]

volumeMounts:

- name: ceph-vol1

mountPath: /usr/share/busybox

readOnly: false

volumes:

- name: ceph-vol1

persistentVolumeClaim:

claimName: ceph-claim

保存定义Pod的文件，我们创建一个Pod：

ok，我们已经成功的将该PVC挂载到了Pod中的容器中。

总结

好了，到此为止，我们已经介绍了如何将Kubernetes与Ceph RBD关联起来，实现将被 Kubernetes编排的服务数据持久化。我们分别对静态PV和动态PV分别进行了实验，但是Ceph RBD也有自己的缺点。

在说明Ceph RBD缺点之前，先介绍下PV的访问模式，PV支持三种访问模式：

ReadWriteOnce——该卷可以被单个节点以读/写模式挂载
ReadOnlyMany——该卷可以被多个节点以只读模式挂载
ReadWriteMany——该卷可以被多个节点以读/写模式挂载

但是Ceph RBD只能进行单节点读写或多节点读，不能进行多节点读写，如下图所示：

但是有的业务可能需要多节点读写的功能，正好Cephfs解决了这个问题，下篇文章笔者会介绍下Cephfs如何与Kubernetes结合实现数据持久化存储。

参考链接：

https://www.kubernetes.org.cn/3462.html

https://kubernetes.io/docs/concepts/storage/persistent-volumes/

https://github.com/kubernetes-incubator/external-storage/tree/master/ceph/rbd/examples