微服务-Nacos进阶-K8S集群

阿豪啊
88 阅读5分钟

一、概述

突然间新的项目要使用nacos作为服务注册中心，想着别人搭好后用用就好，突然同事找我交流了一些问题，发现自己不会，如下几个知识点需要学习下：

  • StatefulSet部署方式
  • 节点选择器、亲和与反亲和
  • default.svc.cluster.local含义

二、StatefulSet部署方式

StatefulSet创建的POD名称会根据副本的数据加上-0，-1，-2的后缀，比如定义POD名称为nacos，副本三个，那么名称分别是nacos-0，nacos-1，nacos-2。
一般StatefulSet的部署方式搭配持久卷PV来使用，不然使用Deployment来解决就好了。 nacos的官方quick-start是一个很好的学习例子，包含了Service、ConfigMap、StatefulSet三个定义，在我看来是一个相当精简的例子，十分适合学习。虽然用到了StatefulSet，但是没有使用到持久卷PV，数据集中在数据库中，有一点问题是nacos的日志没有挂载到磁盘或者PV上，一般项目的要求要将日志挂载到磁盘上。

nacos的日志要挂载到POD外，也不一定需要用到PV，这个日志也不是很重要，一般是不需要排查这个日志的。因此可以在每个节点机器上定义好日志的路径，由于quick-start的例子定义了反亲和，三个POD肯定不会再同一台Node上。因此这里需要使用至少三个Node。如果只有一个Node，那就不用挂载出来了。

---
apiVersion: v1
kind: Service
metadata:
  name: nacos-headless
  labels:
    app: nacos-headless
spec:
  type: ClusterIP
  clusterIP: None
  ports:
    - port: 8848
      name: server
      targetPort: 8848
    - port: 9848
      name: client-rpc
      targetPort: 9848
    - port: 9849
      name: raft-rpc
      targetPort: 9849
    ## 兼容1.4.x版本的选举端口
    - port: 7848
      name: old-raft-rpc
      targetPort: 7848
  selector:
    app: nacos
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: nacos-cm
data:
  mysql.host: "mysql"
  mysql.db.name: "nacos_devtest"
  mysql.port: "3306"
  mysql.user: "nacos"
  mysql.password: "nacos"
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: nacos
spec:
  serviceName: nacos-headless
  replicas: 3
  template:
    metadata:
      labels:
        app: nacos
      annotations:
        pod.alpha.kubernetes.io/initialized: "true"
    spec:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: "app"
                    operator: In
                    values:
                      - nacos
              topologyKey: "kubernetes.io/hostname"
      containers:
        - name: nacos
          imagePullPolicy: Always
          image: nacos/nacos-server:latest
          resources:
            requests:
              memory: "2Gi"
              cpu: "500m"
          ports:
            - containerPort: 8848
              name: client
            - containerPort: 9848
              name: client-rpc
            - containerPort: 9849
              name: raft-rpc
            - containerPort: 7848
              name: old-raft-rpc
          env:
            - name: NACOS_REPLICAS
              value: "3"
            - name: MYSQL_SERVICE_HOST
              valueFrom:
                configMapKeyRef:
                  name: nacos-cm
                  key: mysql.host
            - name: MYSQL_SERVICE_DB_NAME
              valueFrom:
                configMapKeyRef:
                  name: nacos-cm
                  key: mysql.db.name
            - name: MYSQL_SERVICE_PORT
              valueFrom:
                configMapKeyRef:
                  name: nacos-cm
                  key: mysql.port
            - name: MYSQL_SERVICE_USER
              valueFrom:
                configMapKeyRef:
                  name: nacos-cm
                  key: mysql.user
            - name: MYSQL_SERVICE_PASSWORD
              valueFrom:
                configMapKeyRef:
                  name: nacos-cm
                  key: mysql.password
            - name: SPRING_DATASOURCE_PLATFORM
              value: "mysql"
            - name: NACOS_SERVER_PORT
              value: "8848"
            - name: NACOS_APPLICATION_PORT
              value: "8848"
            - name: PREFER_HOST_MODE
              value: "hostname"
            - name: NACOS_SERVERS
              value: "nacos-0.nacos-headless.default.svc.cluster.local:8848 nacos-1.nacos-headless.default.svc.cluster.local:8848 nacos-2.nacos-headless.default.svc.cluster.local:8848"
  selector:
    matchLabels:
      app: nacos

三、节点选择器、亲和与反亲和

在实际项目中，节点选择器通常和亲和/反亲和一起搭配使用。节点选择器定义了应用可以部署的节点范围，亲和/反亲和则是定义了在节点范围内同样的POD要如何部署到机器上， 通常为了高可用，希望相同的POD不要部署到同一台机器节点上，这里就需要使用到了POD的反亲和。

  • 节点亲和：nodeAffinity
  • POD亲和：podAffinity
  • POD反亲和（常用）：podAntiAffinity

topologyKey的值对应的是Node标签上的key，没有value，是用来筛选Node的。

常见的topologyKey有kubernetes.io/hostname，表示节点机器，一般Node上都有这个标签。

如下这个ymal代码片段定义了POD的反亲和，在所有的包含"kubernetes.io/hostname"标签的Node中，POD部署在不包含有如下键值对的Node上app-label=app-label

spec:
  template:
    spec:
      #调度约束，这里主要是反亲和，避免POD多个副本在同一个节点机器上
      affinity:
        #反亲和配置
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            #每个集群节点的机器都有kubernetes.io/hostname这个标签，通过命令查看kubectl describe node 192.168.0.212
            #在集群中所有的节点（需要包含topologyKey中定义的label标签）范围内，如果这个节点机器没有包含任何标签为app-label，value为app-label的POD，那么这台机器可以部署这个POD
            #否则该机器不能部署这个POD
            #由于每台机器都有kubernetes.io/hostname这个标签，因此这里相当于是集群内所有节点机器
            - labelSelector:
                matchLabels:
                  app-label: app-label
              topologyKey: kubernetes.io/hostname

如下一个案例更加完整，也比较容易理解： image.png

image.png

四、default.svc.cluster.local含义

看到其他项目有这么一个特殊的DNS后缀，搜索了资料，原来是 Pod 会获得一个默认的 DNS 后缀名称 default.svc.cluster.local，个人感觉不用也可以，记录下，方便后续理解。

nacos-0.nacos-headless.default.svc.cluster.local使用点符号进行分割，其含义分为为

  • nacos-0 POD的名称
  • nacos-headless Service的名称
  • default.svc.cluster.local 默认的DNS后缀

五、总结

quick-start中没有将nacos的日志映射到节点的磁盘上，如何将三个POD的日志映射出来。如果有三台节点机器，通过反亲和都映射到同一路径下，不会冲突，但是集群重启的时候，可能日志并不是对应原来的POD了。如果只有一台机器，公司如果只给你一台，公司都相信你，你也不用害怕，做个伪集群，去掉反亲和配置，不要将日志挂载出来，毕竟公司这么信任你。

新的问题，zookeeper能否不使用PV呢？zookeeper的数据不是放在数据库中的，是文件数据，放在磁盘上，因此有PV是最好的。如果没有PV，我有两个笨办法解决，两个笨办法的前提是刚好只有三台Node给我们部署。

  • 笨办法一：采用StatefulSet部署方式，Node增加一个新的标签，比如app=zk，同时在StatefulSet的ymal文件中定义好zookeeper的data路径，映射到Node上，三个POD可以随机部署在其中一个Node上。
  • 笨办法二：采用Deployment部署方式，三个Node分别打上app=zk1,app=zk2,app=zk3标签，三个zookeeper的部署中的节点选择器分别对应如上，这样每个zookeeper的POD就会固定到其中一个Node上。

公司不然用PV，不知道为啥，说是不安全，没搞懂。吐槽下。

六、参考资料

avatar
文章
阅读
粉丝