超详细的Ceph集群使用RBD块存储与K8S集群集成我正在参与掘金技术社区创作者签约计划招募活动，点击链接报名投稿。 1

我正在参与掘金技术社区创作者签约计划招募活动，点击链接报名投稿。

1.Ceph集群使用RBD块存储与K8S集成简介

RBD（Reliable Block Device）组件是一种构建在RADOS集群之上为客户端提供块设备存储接口接口的中间层，提供的块存储服务可以形成一个裸磁盘，提供格式化、映射的功能，挂载到服务器中。

这类的客户端包括虚拟化KVM和云计算OpenStack。

RBD组件支持存储空间的动态扩容，也可以借助RADOS实现快照、副本和一致性。

客户端访问RBD的方式：

通过内核模块rbd.ko将块存储映射成本地的一块磁盘，例如/dev/vdbx等等，可以进行格式化和分区。
通过librbd接口，KVM虚拟化就是使用这种接口。

在K8S集群中为Pod资源提供数据持久化，大致分为三种解决方案：

Volume
- Volume持久化有三种类型分别是EmptyDir、HostPath、NFS。
- Volume是K8S集群中较为简单的数据持久化方案，无需创建其他资源，直接在Pod资源编排文件中声明Volume卷，即可挂载使用。
PV、PVC
- PV和PVC是一种高级类型的持久化存储费方案，PV负责与底层存储系统进行对接，PVC从PV中分配一定的资源，最后由PVC挂载到Pod中。
StorageClass
- 更加高级的一种持久化存储方案，由StorageClass提供一个数据持久化资源池，当Pod需要持久化数据时，直接从StorageClass中自动创建出PV和PVC，最后挂载到Pod资源中。

无论使用哪种持久化方案，最常用的方式是通过NFS或者NAS来实现，今天通过Ceph分布式集群中的RBD块存储来实现Pod数据的持久化。

使用RBD块存储作为Pod资源数据持久化时，只有集群中某一个Node节点可以挂载一块RBD块存储设备，例如当Node1节点挂载了RBD块设备后，Node1节点中的所有Pod都可以共享这块RBD中的数据，但是其余Node节点都无法挂载这块RBD存储了。

RBD块存储设备无法跨节点使用，只有挂载RBD块存储的Node节点中的Pod资源可以使用，其余节点的Pod资源无法使用。

Ceph集群默认开启了CEPHX的认证，任何存储类型想要是有Ceph作为底层存储，都需要通过用户认证才可以正常使用。

2.Ceph集群RBD块存储与K8S Volume存储卷集成

2.1.创建K8S集群Volume使用的块存储

 1.创建一个Pool资源池
 [root@ceph-node-1 ~]# ceph osd pool create kubernetes_data 16 16
 pool 'kubernetes_data' created
 
 2.在资源池中创建块存储设备
 [root@ceph-node-1 ~]# rbd create --image-feature layering kubernetes_data/rbd_volume_data.img --size 10G
 
 3.查看创建的块存储设备
 [root@ceph-node-1 ~]# rbd -p kubernetes_data ls
 rbd_volume_data.img
 
 4.查看块存储设备的信息
 [root@ceph-node-1 ~]# rbd info kubernetes_data/rbd_volume_data.img
 rbd image 'rbd_volume_data.img':
     size 10 GiB in 2560 objects
     order 22 (4 MiB objects)
     snapshot_count: 0
     id: ad8a1b33e8b
     block_name_prefix: rbd_data.ad8a1b33e8b
     format: 2
     features: layering
     op_features: 
     flags: 
     create_timestamp: Mon Apr 11 23:00:30 2022
     access_timestamp: Mon Apr 11 23:00:30 2022
     modify_timestamp: Mon Apr 11 23:00:30 2022

2.2.创建K8S集群访问RBD块存储设备的认证用户

K8S想要访问Ceph中的RBD块设备，必须通过一个认证用户才可以访问，如果没有认证用户则无法访问Ceph集群中的块设备。

命令格式：ceph auth get-or-create {用户名称} mon '{访问mon的方式}' osd '{访问osd的方式}'

 [root@ceph-node-1 ~]# ceph auth get-or-create client.kubernetes mon 'profile rbd' osd 'profile rbd pool=kubernetes_data'
 [client.kubernetes]
     key = AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A==

命令解释：创建了一个client.kubernetes名称的Ceph认证用户，访问mon的方式是以RBD块存储形式访问，访问OSD的方式也是以块存储RBD方式访问Pool资源池。

查看创建的认证用户。

 [root@ceph-node-1 ~]# ceph auth list

可以看到Ceph的认证用户都是以client开头，每一个用户都有对mon和osd的访问方式。在这里插入图片描述

2.3.将认证用户的Key存储在K8S Secret资源中

将认证用户的key通过Base64进行加密，存储在K8S的Secret资源中。

1）将key通过Base64进行加密

 [root@ceph-node-1 ~]# echo AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A== | base64
 QVFCbFJWUmliYnF6SlJBQUQzbGFjWWF4UmxvVFZUaW82ZSsxMEE9PQo=

2）将加密后的Key存储在Secret资源中

 [root@k8s-master k8s_yaml]# vim ceph-rbd-secret.yaml
 apiVersion: v1
 kind: Secret
 metadata:
   name: ceph-rbd-secret
 type: "kubernetes.io/rbd"
 data:
   key: QVFCbFJWUmliYnF6SlJBQUQzbGFjWWF4UmxvVFZUaW82ZSsxMEE9PQo=

3）创建Secret资源

RBD的Secret要与Pod在同一Namespace下，如果不同的Namespace的Pod都需要使用RBD进行存储，则需要在每个Namespace下都进行创建。

 [root@k8s-master k8s_yaml]# kubectl apply -f ceph-rbd-secret.yaml
 secret/ceph-rbd-secret created
 
 [root@k8s-master k8s_yaml]# kubectl get secret
 NAME                  TYPE                                  DATA   AGE
 ceph-rbd-secret       kubernetes.io/rbd                     1      16s
 default-token-fbknq   kubernetes.io/service-account-token   3      60d

2.4.在K8S集群的所有节点中安装Ceph命令

不安装ceph命令将无法成功挂载块设备。

 [root@k8s-master ~]# yum -y install ceph-common
 [root@k8s-node1 ~]# yum -y install ceph-common
 [root@k8s-node2 ~]# yum -y install ceph-common

2.5.创建Pod资源使用Ceph集群的RBD块存储进行数据持久化

1）编写Pod资源使用RBD块存储的资源编排文件

 [root@k8s-master k8s_yaml]# vim ceph-rbd-pod.yaml 
 apiVersion: v1
 kind: Pod
 metadata:
   name: ceph-rbd-pod
 spec:
   containers:
   - name: ceph-rbd-pod
     image: nginx:1.15
     imagePullPolicy: IfNotPresent
     ports:
     - name: web
       containerPort: 80
       protocol: TCP
     volumeMounts:
     - name: rbd-volume
       mountPath: /data
   volumes:
   - name: rbd-volume
     rbd:                                #存储类型使用rbd
       monitors:                          #ceph集群monitor组件的地址
       - 192.168.20.20:6789
       - 192.168.20.21:6789
       - 192.168.20.22:6789
       pool: kubernetes_data                 #使用的ceph资源池名称
       image: rbd_volume_data.img             #块设备名称
       fsType: ext4                          #文件系统类型
       user: kubernetes                       #访问ceph集群的认证用户
       secretRef:                             #指定认证用户key存储的secret资源
         name: ceph-rbd-secret

2）创建Pod资源

 [root@k8s-master k8s_yaml]# kubectl apply -f ceph-rbd-pod.yaml
 pod/ceph-rbd-pod created
 
 [root@k8s-master ~]# kubectl get pod
 NAME           READY   STATUS    RESTARTS   AGE
 ceph-rbd-pod   1/1     Running   0          8m5s

2.6.查看Pod资源挂载的RBD信息

1）进入Pod中查看挂载的RBD信息

可以看到Pod成功挂载上了RBD块存储，和之前做块设备映射一样，也是将块设备映射成了一块名为/dev/rbd0的裸磁盘，然后挂载到了/data目录中。

 [root@k8s-master k8s_yaml]# kubectl exec -it ceph-rbd-pod bash
 root@ceph-rbd-pod:/# df -hT /data
 Filesystem     Type  Size  Used Avail Use% Mounted on
 /dev/rbd0      ext4  9.8G   37M  9.7G   1% /data

2）在宿主机上查看挂载的RBD信息

为什么会在Pod中看到挂载的RBD块设备映射的磁盘，其实是宿主机将块设备映射的磁盘挂载到了容器的某个路径中，这才导致在Pod里显示的是一块RBD磁盘挂载。

首先查看Pod运行在了哪个Node节点上，然后查看RBD块设备的挂载信息。

 [root@k8s-node1 ~]# df -HT /dev/rbd0
 文件系统       类型  容量  已用  可用 已用% 挂载点
 /dev/rbd0      ext4   11G   38M   11G    1% /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/kubernetes_data-image-rbd_volume_data.img

3）当Pod资源被删除后观察NOde节点挂载的RBD状态

当Pod资源被删除后，Node节点挂载的RBD块设备自动删除。

 [root@k8s-master k8s_yaml]# kubectl delete -f ceph-rbd-pod.yaml
 pod "ceph-rbd-pod" deleted
 
 [root@k8s-node1 ~]# df -HT /dev/rbd0
 df: "/dev/rbd0": 没有那个文件或目录

4）多个Pod同时使用一个块存储设备会有什么效果

一个块设备映射的磁盘只能被一个节点进行挂载，如果多个Pod资源分布在不同Node节点上，多个Node节点都要挂载这一个块存储映射的磁盘将会报错。

   Warning  FailedMount             5s    kubelet                  MountVolume.WaitForAttach failed for volume "rbd-volume" : rbd image kubernetes_data/rbd_volume_data.img is still being used

若是多个Pod都调度在同一个Node节点上，那么可以同时使用同一块块存储设备持久化Pod中的数据，并且也Pod可以启动成功。

 [root@k8s-master k8s_yaml]# kubectl get pod -o wide
 NAME             READY   STATUS    RESTARTS   AGE     IP                NODE        NOMINATED NODE   READINESS GATES
 ceph-rbd-pod     1/1     Running   0          7m12s   100.111.156.122   k8s-node1   <none>           <none>
 ceph-rbd-pod-2   1/1     Running   0          8s      100.111.156.120   k8s-node1   <none>           <none>

类似于共享存储的效果，如下图所示，都是挂载的一块块设备，任何Pod在里面写数据，其他的Pod都可以读取。

3.Ceph集群RBD块存储与K8S PV存储卷集成

PV、PVC高级存储在K8S集群中的应用极多，与Volume集成方案类似。

3.1.创建K8S集群PV使用的块存储

 1.创建一个Pool资源池
 [root@ceph-node-1 ~]# ceph osd pool create kubernetes_data 16 16
 pool 'kubernetes_data' created
 
 2.在资源池中创建块存储设备
 [root@ceph-node-1 ~]# rbd create --image-feature layering kubernetes_data/rbd_pv_data.img --size 10G
 
 3.查看创建的块存储设备
 [root@ceph-node-1 ~]# rbd -p kubernetes_data ls
 rbd_pv_data.img
 rbd_volume_data.img

3.2.创建K8S集群访问RBD块存储设备的认证用户

K8S想要访问Ceph中的RBD块设备，必须通过一个认证用户才可以访问，如果没有认证用户则无法访问Ceph集群中的块设备。

命令格式：ceph auth get-or-create {用户名称} mon '{访问mon的方式}' osd '{访问osd的方式}'

 [root@ceph-node-1 ~]# ceph auth get-or-create client.kubernetes mon 'profile rbd' osd 'profile rbd pool=kubernetes_data'
 [client.kubernetes]
     key = AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A==

命令解释：创建了一个client.kubernetes名称的Ceph认证用户，访问mon的方式是以RBD块存储形式访问，访问OSD的方式也是以块存储RBD方式访问Pool资源池。

查看创建的认证用户。

 [root@ceph-node-1 ~]# ceph auth list

可以看到Ceph的认证用户都是以client开头，每一个用户都有对mon和osd的访问方式。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zrrNkfBr-1657590728217)(E:\jxl工作\技术文档整理\Ceph分布式存储\29-Ceph集群使用RBD块存储与Kubernetes进行持久化集成.assets\image-20220411231844008.png)]$

3.3.将认证用户的Key存储在K8S Secret资源中

将认证用户的key通过Base64进行加密，存储在K8S的Secret资源中。

1）将key通过Base64进行加密

 [root@ceph-node-1 ~]# echo AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A== | base64
 QVFCbFJWUmliYnF6SlJBQUQzbGFjWWF4UmxvVFZUaW82ZSsxMEE9PQo=

2）将加密后的Key存储在Secret资源中

 [root@k8s-master k8s_yaml]# vim ceph-rbd-secret.yaml
 apiVersion: v1
 kind: Secret
 metadata:
   name: ceph-rbd-secret
 type: "kubernetes.io/rbd"
 data:
   key: QVFCbFJWUmliYnF6SlJBQUQzbGFjWWF4UmxvVFZUaW82ZSsxMEE9PQo=

3）创建Secret资源

RBD的Secret要与Pod在同一Namespace下，如果不同的Namespace的Pod都需要使用RBD进行存储，则需要在每个Namespace下都进行创建。

 [root@k8s-master k8s_yaml]# kubectl apply -f ceph-rbd-secret.yaml
 secret/ceph-rbd-secret created
 
 [root@k8s-master k8s_yaml]# kubectl get secret
 NAME                  TYPE                                  DATA   AGE
 ceph-rbd-secret       kubernetes.io/rbd                     1      16s
 default-token-fbknq   kubernetes.io/service-account-token   3      60d

3.4.在K8S集群的所有节点中安装Ceph命令

不安装ceph命令将无法成功挂载块设备。

 [root@k8s-master ~]# yum -y install ceph-common
 [root@k8s-node1 ~]# yum -y install ceph-common
 [root@k8s-node2 ~]# yum -y install ceph-common

3.5.创建PV及PVC资源使用RBD作为底层存储

在K8S集群中创建PV及PVC存储资源，主要是对PV进行了一些配置，存储底层采用Ceph集群的RBD块存储设备，PVC资源配置不需要任何变动。

1）编写资源编排文件

 [root@k8s-master k8s_yaml]# cat ceph-rbd-pv-pvc.yaml
 apiVersion: v1
 kind: PersistentVolume
 metadata:
   name: ceph-rbd-pv
 spec:
   capacity:
     storage: 10Gi
   accessModes:
     - ReadWriteMany
   rbd:                                      #指定使用rbd块存储类型
     monitors:                                 #指定monitor地址
       - 192.168.20.20:6789
       - 192.168.20.21:6789
       - 192.168.20.22:6789
     pool: kubernetes_data                       #指定使用的资源池名称
     image: rbd_pv_data.img                      #指定使用的块存储名称
     user: kubernetes                            #连接块存储设备的用户
     secretRef:                                  #存储用户key的secret资源
       name: ceph-rbd-secret
     fsType: ext4                                #文件系统类型
   persistentVolumeReclaimPolicy: Recycle
   storageClassName: rbd                          #存储类型填写rbd
 
 ---
 apiVersion: v1
 kind: PersistentVolumeClaim
 metadata:
   name: ceph-rbd-pvc
 spec:
   accessModes:
     - ReadWriteMany
   resources:
     requests:
       storage: 10Gi
   storageClassName: rbd

2）在集群中创建PV和PVC资源

 1.创建资源
 [root@k8s-master k8s_yaml]# kubectl apply -f ceph-rbd-pv-pvc.yaml
 persistentvolume/ceph-rbd-pv created
 persistentvolumeclaim/ceph-rbd-pvc created
 
 2.查看资源的状态
 [root@k8s-master k8s_yaml]# kubectl get pv,pvc
 NAME                           CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                  STORAGECLASS   REASON   AGE
 persistentvolume/ceph-rbd-pv   10Gi       RWX            Recycle          Bound    default/ceph-rbd-pvc   rbd                     24s
 
 NAME                                 STATUS   VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
 persistentvolumeclaim/ceph-rbd-pvc   Bound    ceph-rbd-pv   10Gi       RWX            rbd            24s

3.6.创建Pod资源挂载PV存储卷并写入数据

1）编写Pod的资源编排文件

虽然PV底层使用的RBD作为存储，但是Pod使用PVC的方式无任何变化。

 [root@k8s-master k8s_yaml]# cat ceph-rbd-pv-pod.yaml
 apiVersion: v1
 kind: Pod
 metadata:
   name: ceph-rbd-pv-pod
 spec:
   containers:
     - image: nginx:1.15
       name: ceph-rbd-pv-pod
       ports:
       - name: web
         containerPort: 80
         protocol: TCP
       volumeMounts:
       - name: rbd-pvc
         mountPath: /data
   volumes:
     - name: rbd-pvc
       persistentVolumeClaim: 
         claimName: ceph-rbd-pvc

2）在集群中创建Pod资源

 [root@k8s-master k8s_yaml]# kubectl apply -f ceph-rbd-pv-pod.yaml
 pod/ceph-rbd-pv-pod created
 
 [root@k8s-master k8s_yaml]# kubectl get pod
 NAME              READY   STATUS    RESTARTS   AGE
 ceph-rbd-pv-pod   1/1     Running   0          3m16s

3）进入Pod中写入数据

 [root@k8s-master k8s_yaml]# kubectl exec -it ceph-rbd-pv-pod bash
 root@ceph-rbd-pv-pod:/# df -hT /data 
 Filesystem     Type  Size  Used Avail Use% Mounted on
 /dev/rbd0      ext4  9.8G   37M  9.7G   1% /data
 
 root@ceph-rbd-pv-pod:/# touch /data/file{1..9}.txt
 
 root@ceph-rbd-pv-pod:/# ls /data/
 file1.txt  file2.txt  file3.txt  file4.txt  file5.txt  file6.txt  file7.txt  file8.txt  file9.txt  lost+found

任何类型的存储卷使用RBD的方式都一样，都会在Pod所在宿主机中挂载RBD块设备映射的磁盘，然后挂载到具体的Pod中，无法跨主机

4.Ceph集群RBD块存储与K8S StorageClass集成

4.1.RBD块存储与StorageClass集成架构图

StorageClass资源可以通过客户端根据用户的需求自动创建出PV以及PVC资源。

StorageClass使用Ceph作为底层存储，为用户自动创建出PV以及PVC资源，使用的客户端工具是csi，首先需要在K8S集群中部署csi客户端工具，由csi客户端中驱动去连接Ceph集群。

在这里插入图片描述

4.2.Ceph集群为StorageClass提供块存储

4.2.1.在Ceph集群中创建StorageClass使用的资源池以及RBD块存储

 1.创建一个Pool资源池
 [root@ceph-node-1 ~]# ceph osd pool create kubernetes_data 16 16
 pool 'kubernetes_data' created
 
 2.在资源池中创建块存储设备
 [root@ceph-node-1 ~]# rbd create --image-feature layering kubernetes_data/rbd_storageclass_data.img --size 10G
 
 
 3.查看创建的块存储设备
 [root@ceph-node-1 ~]# rbd -p kubernetes_data ls
 rbd_pv_data.img
 rbd_storageclass_data.img
 rbd_volume_data.img

4.2.2.创建K8S集群访问RBD块存储设备的认证用户

 [root@ceph-node-1 ~]# ceph auth get-or-create client.kubernetes mon 'profile rbd' osd 'profile rbd pool=kubernetes_data'
 [client.kubernetes]
     key = AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A==

命令解释可以参考之前的文章。

4.2.3.集群Ceph集群的集群信息

 [root@ceph-node-1 ~]# ceph mon dump
 epoch 1
 fsid a5ec192a-8d13-4624-b253-5b350a616041           #集群的ID，稍后会用到
 last_changed 2022-04-02 22:09:57.238072
 created 2022-04-02 22:09:57.238072
 min_mon_release 14 (nautilus)
 0: [v2:192.168.20.20:3300/0,v1:192.168.20.20:6789/0] mon.ceph-node-1
 1: [v2:192.168.20.21:3300/0,v1:192.168.20.21:6789/0] mon.ceph-node-2
 2: [v2:192.168.20.22:3300/0,v1:192.168.20.22:6789/0] mon.ceph-node-3
 dumped monmap epoch 1

4.3.在K8S集群中部署CSI客户端工具

StorageClass通过CSI客户端与Ceph集群建立连接。

创建出StorageClass客户端所在的Namespace。

 [root@k8s-master csi]# kubectl create ns storage-class
 namespace/storage-class created

4.3.1.创建CSI客户端连接Ceph集群的Configmap资源

这个配置文件主要是让CSI客户端能够连接到Ceph集群。

1）编写资源编排文件

 [root@k8s-master csi]# vim csi-configmap.yaml
 apiVersion: v1
 kind: ConfigMap
 data:
   config.json: |-
     [
       {
         "clusterID": "a5ec192a-8d13-4624-b253-5b350a616041",  #ceph集群的ID
         "monitors": [                                       #ceph集群monitor组件的地址
           "192.168.20.20:6789",
           "192.168.20.21:6789",
           "192.168.20.22:6789"
         ]
       }
     ]
 metadata:
   name: ceph-csi-config

2）创建Confimap资源

 [root@k8s-master csi]# kubectl apply -f csi-configmap.yaml -n storage-class
 configmap/ceph-csi-config created
 
 [root@k8s-master csi]# kubectl get cm -n storage-class
 NAME              DATA   AGE
 ceph-csi-config   1      45s

4.3.2.将CSI客户端连接RBD的认证用户以Secret资源进行存储

创建一个Secret资源，用于存储CSI客户端连接RBD的认证用户信息，由于使用的stringData保存用户的Key，因此用户的key在这里无需使用Base64加密。

1）编写资源编排文件

 [root@k8s-master csi]# vim csi-rbd-secret.yaml 
 apiVersion: v1
 kind: Secret
 metadata:
   name: csi-rbd-secret
 stringData:
   userID: kubernetes
   userKey: AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A==

2）创建资源

 [root@k8s-master csi]# kubectl apply -f csi-rbd-secret.yaml -n storage-class 
 secret/csi-rbd-secret created

4.3.3.创建CSI客户端访问K8S集群的RBAC认证授权资源

CSI会在K8S集群中部署两个组件，分别是csi-provisioner和csi-nodeplugin，两个组件都需要配置RBAC授权。

1）下载CSI客户端的RBAC资源编排文件

 [root@k8s-master csi]# wget https://raw.githubusercontent.com/ceph/ceph-csi/master/deploy/rbd/kubernetes/csi-provisioner-rbac.yaml
 [root@k8s-master csi]# wget https://raw.githubusercontent.com/ceph/ceph-csi/master/deploy/rbd/kubernetes/csi-nodeplugin-rbac.yaml

2）在K8S集群中创建RBAC资源

创建之前先将资源编排文件中写死的Namespace替换成你的Namespace。

:%s/namespace: default/namespace: storage-class/g

 [root@k8s-master csi]# kubectl apply -f csi-provisioner-rbac.yaml -n storage-class 
 serviceaccount/rbd-csi-provisioner created
 clusterrole.rbac.authorization.k8s.io/rbd-external-provisioner-runner configured
 clusterrolebinding.rbac.authorization.k8s.io/rbd-csi-provisioner-role configured
 role.rbac.authorization.k8s.io/rbd-external-provisioner-cfg created
 rolebinding.rbac.authorization.k8s.io/rbd-csi-provisioner-role-cfg created
 
 [root@k8s-master csi]# kubectl apply -f csi-nodeplugin-rbac.yaml -n storage-class 
 serviceaccount/rbd-csi-nodeplugin created
 clusterrole.rbac.authorization.k8s.io/rbd-csi-nodeplugin configured
 clusterrolebinding.rbac.authorization.k8s.io/rbd-csi-nodeplugin configured

4.3.4.在K8S集群中部署CSI客户端

 [root@k8s-master csi]# kubectl apply -f csi-rbdplugin-provisioner.yaml -n storage-class 
 service/csi-rbdplugin-provisioner created
 deployment.apps/csi-rbdplugin-provisioner created
 [root@k8s-master csi]# kubectl apply -f csi-rbdplugin.yaml -n storage-class 
 daemonset.apps/csi-rbdplugin created
 service/csi-metrics-rbdplugin created