本篇文章将完成多master集群的部署，即部署master02，以及nginx负载均衡、keepalived高可用。
多master集群架构
- node节点的kubelet只能对接一个master节点的apiserver，不可能同时对接多个master节点的apiserver。简而言之，node节只能由一个master来领导。
- kubelet和kube-proxy是通过kubelet.kubeconfig和kube-proxy.kubeconfig文件中的server参数进行对接 master节点的。
- 所以在多master节点的环境下，需要有nginx负载均衡器来进行调度，而且需要进行keepalived高可用的构建（主从两个节点），防止主节点宕机导致整个k8s集群的不可用。
部署两台或者三台master
- 三台：多层保障、负载均衡（减轻每台master的压力）、选举机制选出leader。
- 两台：也可实现负载均衡，负载压力没那么大的情况下可选两台，同时成本低。
部署master02 节点
master02：192.168.44.50
master01节点，拷贝文件到master02
#从 master01 节点上拷贝证书文件、各master组件的配置文件和服务管理文件到 master02 节点
scp -r /opt/etcd/ root@192.168.41.20:/opt/
scp -r /opt/kubernetes/ root@192.168.41.20:/opt/
scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service root@192.168.41.20:/usr/lib/systemd/system/
scp -r /root/.kube/ master02:/root/
master02节点，修改配置文件并启动相关服务
#修改配置文件kube-apiserver中的IP
vim /opt/kubernetes/cfg/kube-apiserver
KUBE_APISERVER_OPTS="--logtostderr=true \ #输出日志，false表示标准错误不输出到屏幕，而是输出到日志中。true表示标准错误会输出到屏幕。
--v=4 \ #日志级别
--etcd-servers=https://192.168.44.50:2379,https://192.168.44.30:2379,https://192.168.44.40:2379 \ #etcd节点的IP通信地址
--bind-address=192.168.44.50 \ #修改，当前绑定的内网IP监听的地址
--secure-port=6443 \ #基于HPPTS开放端口
--advertise-address=192.168.44.50 \ #修改，内网通告地址，让其他node节点地址通信
......
#在 master02 节点上启动各服务并设置开机自启
systemctl enable --now kube-apiserver.service
systemctl enable --now kube-controller-manager.service
systemctl enable --now kube-scheduler.service
#将可执行文件，创建软链接
ln -s /opt/kubernetes/bin/* /usr/local/bin/
#查看node节点状态
kubectl get nodes
kubectl get nodes -o wide #-o=wide：输出额外信息；对于Pod，将输出Pod所在的Node名
#此时在master02节点查到的node节点状态仅是从etcd查询到的信息，而此时node节点实际上并未与master02节点建立通信连接，因此需要使用一个VIP把node节点与master节点都关联起来
部署负载均衡
配置load balancer集群双机热备负载均衡（nginx实现负载均衡，keepalived实现双机热备）。
- load balancer01：192.168.44.100
- load balancer01：192.168.44.150
- VIP：192.168.44.200
在lb01、lb02节点上配置nginx和keepalived
配置load balancer集群双机热备负载均衡（nginx实现负载均衡，keepalived实现双机热备）
两台负载均衡器配置nginx
#配置nginx的官方在线yum源，配置本地nginx的yum源
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
EOF
yum install nginx -y
#修改nginx配置文件，配置四层反向代理负载均衡，指定k8s群集2台master的节点ip和6443端口
vim /etc/nginx/nginx.conf
events {
worker_connections 1024;
}
#添加
stream {
log_format main '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
access_log /var/log/nginx/k8s-access.log main;
upstream k8s-apiserver {
server 192.168.44.20:6443; #master01
server 192.168.44.50:6443; #master02
}
server {
listen 6443;
proxy_pass k8s-apiserver;
}
}
http {
......
#检查配置文件语法
nginx -t
#启动nginx服务，查看已监听6443端口
systemctl start nginx
systemctl enable nginx
netstat -natp | grep nginx
tcp 0 0 0.0.0.0:6443 0.0.0.0:* LISTEN 2715/nginx: master
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 2715/nginx: master
两台负载均衡器配置keepalived
#部署keepalived服务
yum install keepalived -y
#修改keepalived配置文件
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
# 接收邮件地址
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
# 邮件发送地址
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1 #修改为本机回环地址
smtp_connect_timeout 30
router_id LB01 #lb01节点的为LB01，lb02节点的为LB02
}
#添加一个周期性执行的脚本
vrrp_script check_nginx {
script "/etc/nginx/check_nginx.sh" #指定检查nginx存活的脚本路径
}
vrrp_instance VI_1 {
state MASTER #lb01节点的为 MASTER，lb02节点的为 BACKUP
interface ens33 #指定网卡名称 ens33
virtual_router_id 51 #指定vrid，两个节点要一致
priority 100 #设置优先级，lb01节点的为 100，lb02节点的为 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.44.200/24 #指定 VIP，需要与之前证书中认证的地址一致
}
track_script { #追踪脚本
check_nginx #指定vrrp_script配置的脚本
}
}
#创建nginx状态检查脚本
vim /etc/nginx/check_nginx.sh
#!/bin/bash
#egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
systemctl stop keepalived
fi
chmod +x /etc/nginx/check_nginx.sh #为脚本增加执行权限
#启动keepalived服务（一定要先启动了nginx服务，再启动keepalived服务）
systemctl start keepalived
systemctl enable keepalived
ip addr #查看主节点的VIP是否生成
关闭主节点的nginx服务，模拟故障，测试keepalived
#关闭主节点lb01的Nginx服务，模拟宕机，观察VIP是否漂移到备节点
systemctl stop nginx
ip addr
systemctl status keepalived #此时keepalived被脚本杀掉了
#备节点查看是否生成了VIP
ip addr #此时VIP漂移到备节点lb02
#恢复主节点
systemctl start nginx #先启动nginx
systemctl start keepalived #再启动keepalived
ip addr
所有node节点修改配置文件
#修改node节点上的bootstrap.kubeconfig,kubelet.kubeconfig配置文件为VIP
cd /opt/kubernetes/cfg/
vim bootstrap.kubeconfig
server: https://192.168.44.200:6443
vim kubelet.kubeconfig
server: https://192.168.44.200:6443
vim kube-proxy.kubeconfig
server: https://192.168.44.200:6443
#重启kubelet和kube-proxy服务
systemctl restart kubelet.service
systemctl restart kube-proxy.service
#在lb01查看nginx的k8s日志
tail /var/log/nginx/k8s-access.log
#在 lb01 上查看 nginx 和 node 、 master 节点的连接状态
netstat -natp | grep nginx
tcp 0 0 0.0.0.0:6443 0.0.0.0:* LISTEN 102055/nginx: maste
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 102055/nginx: maste
tcp 0 0 192.168.44.100:41768 192.168.44.20:6443 ESTABLISHED 102059/nginx: worke
tcp 0 0 192.168.44.100:41756 192.168.44.20:6443 ESTABLISHED 102059/nginx: worke
tcp 0 0 192.168.44.200:6443 192.168.44.40:45278 ESTABLISHED 102058/nginx: worke
tcp 0 0 192.168.44.200:6443 192.168.44.40:45266 ESTABLISHED 102059/nginx: worke
tcp 0 0 192.168.44.200:6443 192.168.44.30:54798 ESTABLISHED 102058/nginx: worke
在 master01 节点测试创建pod
#测试创建pod
kubectl run nginx --image=nginx
#查看Pod的状态信息
kubectl get pods
NAME READY STATUS RESTARTS AGE
dns-test 1/1 Running 1 7h48m
nginx 0/1 ContainerCreating 0 6s
#ContainerCreating，表示正在创建中
kubectl get pods
NAME READY STATUS RESTARTS AGE
dns-test 1/1 Running 1 7h49m
nginx 1/1 Running 0 88s
#Running，表示创建完成，运行中
kubectl get pods -o wide #-o wide：输出额外信息。对于Pod，将输出Pod所在的Node名
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx 1/1 Running 0 6m6s 10.244.196.130 192.168.44.40 <none> <none>
#READY为1/1，表示这个Pod中有1个容器
#在对应的node节点上操作，可以直接使用浏览器或者curl命令访问nginx服务
curl 10.244.196.130 #访问Pod的IP地址
#这时在master01节点上查看nginx日志，发现没有权限查看
kubectl logs nginx #并没有Pod的访问记录
部署Dashboard
Dashboard 介绍
仪表板是基于Web的Kubernetes用户界面。您可以使用仪表板将容器化应用程序部署到Kubernetes集群，对容器化应用程序进行故障排除，并管理集群本身及其伴随资源。您可以使用仪表板来概述群集上运行的应用程序，以及创建或修改单个Kubernetes资源（例如部署，作业，守护进程等）。
例如，可以使用部署向导扩展部署，启动滚动更新，重新启动Pod或部署新应用程序。仪表板还提供有关群集中Kubernetes资源状态以及可能发生的任何错误的信息。
#在 master01 节点上操作
#上传 recommended.yaml 文件到 /opt/k8s 目录中
cd /opt/k8s
vim recommended.yaml
#默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
spec:
ports:
- port: 443
targetPort: 8443
nodePort: 30001 #添加
type: NodePort #添加
selector:
k8s-app: kubernetes-dashboard
#通过recommended.yaml资源配置清单，使用kubectl apply创建资源，-f指定资源配置清单文件
kubectl apply -f recommended.yaml
#创建service account并绑定默认cluster-admin管理员集群角色
kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
#获取token值
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
#使用输出的token登录Dashboard
#如果web页面提示不安全，敲thisisunsafe即可进入下一页面，之后将token值输入
https://192.168.44.40:30001
部署 CoreDNS
使用DNS
Kubernetes可以选择使用DNS来避免将服务的集群IP 地址硬编码到您的应用程序中。Kubernetes DNS作为在集群.上调度的常规Kubernetes 服务运行。它配置在每个节点上运行的kubelet, 以便容器使用DNS服务的IP来解析DNS名称。集群中定义的每个服务（包括DNS服务器本身）都被分配了一个DNS名称。DNS记录将DNS名称解析为服务的集群IP或POD的IP，具体取决于您的需要。SRV记录用于指定运行服务的特定命名端口。
在所有 node 节点上操作
#上传 coredns.tar 到 /opt 目录中
cd /opt
docker load -i coredns.tar
在 master01 节点上操作
#上传 coredns.yaml 文件到 /opt/k8s 目录中，部署 CoreDNS
cd /opt/k8s
kubectl apply -f coredns.yaml
kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-5ffbfd976d-j6shb 1/1 Running 0 32s
DNS 解析测试
kubectl run -it --rm dns-test --image=busybox:1.28.4 sh
If you don't see a command prompt, try pressing enter.
/ # nslookup kubernetes
Server: 10.0.0.2
Address 1: 10.0.0.2 kube-dns.kube-system.svc.cluster.local
Name: kubernetes
Address 1: 10.0.0.1 kubernetes.default.svc.cluster.local
