k8s集群搭建（基于v1.23.6）

snake_bj
1,033 阅读7分钟

1 主机节点规划

节点角色ip地址操作系统配置
k8s-master192.168.100.201centos7.92核4G
k8s-worker1192.168.100.211centos7.92核8G
k8s-worker2192.168.100.212centos7.92核8G

2 网卡静态IP配置参考

2.1 master 节点(192.168.100.201)

TYPE="Ethernet" 
PROXY_METHOD="none" 
BROWSER_ONLY="no" 
BOOTPROTO="static" 
DEFROUTE="yes" 
IPV4_FAILURE_FATAL="no" 
IPV6INIT="no" 
IPV6_AUTOCONF="no" 
IPV6_DEFROUTE="no" 
IPV6_FAILURE_FATAL="no" 
IPV6_ADDR_GEN_MODE="stable-privacy" 
NAME="ens33" 
UUID="e657eb38-d39c-4932-9a37-0d94cd79ce7f" 
DEVICE="ens33" 
ONBOOT="yes" 
IPADDR="192.168.100.201" 
NETMASK="255.255.255.0" 
GATEWAY="192.168.100.2" 
DNS1="218.4.4.4" 
DNS2="8.8.8.8"

2.2 worker1 节点(192.168.100.211)

TYPE="Ethernet" 
PROXY_METHOD="none" 
BROWSER_ONLY="no" 
BOOTPROTO="static" 
DEFROUTE="yes" 
IPV4_FAILURE_FATAL="no" 
IPV6INIT="no" 
IPV6_AUTOCONF="no" 
IPV6_DEFROUTE="no" 
IPV6_FAILURE_FATAL="no" 
IPV6_ADDR_GEN_MODE="stable-privacy" 
NAME="ens33" 
UUID="3727a437-1c41-4ccb-a1bb-fe59f616b44b" 
DEVICE="ens33" 
ONBOOT="yes" 
IPADDR="192.168.100.211" 
NETMASK="255.255.255.0" 
GATEWAY="192.168.100.2" 
DNS1="218.4.4.4" 
DNS2="8.8.8.8"

2.3 worker2 节点(192.168.100.212)

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="no"
IPV6_AUTOCONF="no"
IPV6_DEFROUTE="no"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="84e95224-381a-4731-b587-a28ec475e5c2"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.100.212"
NETMASK="255.255.255.0"
GATEWAY="192.168.100.2"
DNS1="218.4.4.4"
DNS2="8.8.8.8"

3 主机名称修改

3.1 k8s-master 节点(192.168.100.201)

hostnamectl set-hostname k8s-master

3.2 k8s-worker1 节点(192.168.100.211)

hostnamectl set-hostname k8s-worker1

3.3 k8s-worker2 节点(192.168.100.212)

hostnamectl set-hostname k8s-worker2

4 修改host配置host配置

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

cat >> /etc/hosts << EOF 
192.168.100.201 k8s-master
192.168.100.211 k8s-worker1
192.168.100.212 k8s-worker2
EOF

5 将桥接的IPv4流量传递到iptables的链

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

cat <<EOF | tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF

# 让上面的配置生效
sysctl --system

# 加载网桥过滤模块
modprobe br_netfilter
modprobe overlay

# 查看网桥过滤模块是否加载成功
lsmod | grep -e br_netfilter -e overlay

6 配置ipvs功能

在Kubernetes中Service有两种带来模型，一种是基于iptables的，一种是基于ipvs的两者比较的话，ipvs的性能明显要高一些，但是如果要使用它，需要手动载入ipvs模块

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

# 安装ipset和ipvsadm
yum install ipset ipvsadm -y

# 添加需要加载的模块写入脚本文件
cat <<EOF> /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

#为脚本添加执行权限
chmod +x /etc/sysconfig/modules/ipvs.modules

#执行脚本文件
 /bin/bash /etc/sysconfig/modules/ipvs.modules

# 查看对应的模块是否加载成功
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

7 安装时间同步服务

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

yum install ntpdate -y
ntpdate time.windows.com

8 关闭防火墙

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

systemctl stop firewalld

9 禁止开机防火墙启动

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

systemctl disable firewalld

10 关闭selinux

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0

11 关闭交换分区

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

sed -ri 's/.*swap.*/#&/' /etc/fstab 
swapoff -a

12 重启三个节点

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

reboot

13 安装docker

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine
# 删除docker存储文件目录
rm /var/lib/docker -rf
# 安装docker需要的工具
yum install -y yum-utils
# 设置镜像源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 查看当前镜像源中支持的docker版本 
yum list docker-ce --showduplicates | sort -r

vim /etc/yum.repos.d/docker-ce.repo
将 [docker-ce-test]下方的enabled=0修改为 enabled=1

yum --enablerepo=docker-ce-stable clean metadata
yum clean all
yum makecache fast
wget https://mirrors.aliyun.com/docker-ce/linux/centos/7/x86_64/stable/Packages/docker-scan-plugin-0.23.0-1.el7.x86_64.rpm?spm=a2c6h.25603864.0.0.1a4e2ae4AQJOfK
yum localinstall docker-scan-plugin-0.23.0-1.el7.x86_64.rpm
# 安装特定版本的docker-ce
yum install -y docker-ce-20.10.11 docker-ce-cli-20.10.11 containerd.io

mkdir -p /etc/docker
# 添加一个配置文件
# Docker 在默认情况下使用Vgroup Driver为cgroupfs，而Kubernetes推荐使用systemd来替代cgroupfs
tee /etc/docker/daemon.json <<-'EOF'
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "registry-mirrors": ["https://mk09xff6.mirror.aliyuncs.com"],
  "live-restore": true,
  "log-driver":"json-file",
  "log-opts": {"max-size":"500m", "max-file":"3"},
  "storage-driver": "overlay2"
}
EOF

# 启动dokcer
systemctl daemon-reload
systemctl enable docker --now

docker version

14 安装Kubernetes组件

192.168.100.201 、192.168.100.211、192.168.100.212 三个节点分别执行如下命令

# 由于kubernetes的镜像在国外，速度比较慢，这里切换成国内的镜像源
# 编辑/etc/yum.repos.d/kubernetes.repo,添加下面的配置

cat <<EOF | tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
   http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 安装kubeadm、kubelet和kubectl
yum install -y --setopt=obsoletes=0 kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6
systemctl enable kubelet --now 

说明如下：

obsoletes等于1表示更新旧的rpm包的同时会删除旧包，0表示更新旧的rpm包不会删除旧包
kubelet启动后，可以用命令journalctl -f -u kubelet查看kubelet更详细的日志
kubelet默认使用systemd作为cgroup driver
启动后，kubelet现在每隔几秒就会重启，因为它陷入了一个等待kubeadm指令的死循环

# 下载各个机器需要的镜像 
kubeadm config images list

14.1 k8s-master节点安装

# 编辑镜像下载文件images.sh，然后执行。其中node节点只需要kube-proxy和pause

tee ./images.sh <<'EOF'
#!/bin/bash

images=(
kube-apiserver:v1.23.6
kube-controller-manager:v1.23.6
kube-scheduler:v1.23.6
kube-proxy:v1.23.6
pause:3.6
etcd:3.5.1-0
coredns:v1.8.6
)
for imageName in ${images[@]} ; do
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done
EOF

chmod +x ./images.sh && ./images.sh

14.2 k8s-worker1 和 k8s-worker2节点安装

tee ./images.sh <<'EOF'
#!/bin/bash

images=(
kube-proxy:v1.23.6
pause:3.6
)
for imageName in ${images[@]} ; do
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done
EOF

chmod +x ./images.sh && ./images.sh

15 初始化主节点(只在master节点执行)

kubeadm init \
--apiserver-advertise-address=192.168.100.201 \
--control-plane-endpoint=k8s-master \
--image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
--kubernetes-version v1.23.6 \
--service-cidr=10.96.0.0/16 \
--pod-network-cidr=10.244.0.0/16

 说明：

可以使用参数--v=6或--v=10等查看详细的日志
所有参数的网络不能重叠。比如192.168.2.x和192.168.3.x是重叠的
–pod-network-cidr：指定pod网络的IP地址范围。直接填写这个就可以了
–service-cidr：service VIP的IP地址范围。默认就10.96.0.0/12。直接填写这个就可以了
–apiserver-advertise-address：API Server监听的IP地址

`

如果init失败，使用如下命令进行回退

kubeadm reset -f

rm -rf /etc/kubernetes

rm -rf /var/lib/etcd/

rm -rf $HOME/.kube`

# 设置.kube/config(只在master执行)
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

16 安装网络插件flannel

插件使用的是DaemonSet的控制器，会在每个节点都运行

根据github上的README.md当前说明，这个是支持Kubenetes1.17+的

如果因为镜像下载导致部署出错。可以先替换yaml文件内的image源为国内的镜像源

wget https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f kube-flannel.yml

如果执行失败

# 查看yaml需要的镜像
cat kube-flannel.yml |grep image|uniq

# 手动下载镜像
docker pull docker.io/flannel/flannel-cni-plugin:v1.4.1-flannel1
docker pull docker.io/flannel/flannel:v0.25.1
# 再次执行
kubectl delete -f kube-flannel.yml
kubectl apply -f kube-flannel.yml

17 worker接点加入集群

默认的token有效期为2小时，当过期之后，该token就不能用了，这时可以使用如下的命令创建token：

kubeadm token create --print-join-command

这里我们使用命令生成一个永不过期的token来加入集群，在master节点上执行

kubeadm token create --ttl 0 --print-join-command

复制以上命令执行后提示命令的加入集群命令 分别在 192.168.100.211 、192.168.100.212节点执行

18 检查集群状态

kubectl get pods,services,nodes

19 worker节点 可以执行kubectl命令方法

只在k8s-master节点上执行

scp -r $HOME/.kube k8s-worker1:$HOME
scp -r $HOME/.kube k8s-worker2:$HOME

20 部署dashboard(只在master执行)

Kubernetes官方可视化界面：github.com/kubernetes/…

dashboard和kubernetes的版本对应关系，参考：github.com/kubernetes/…

image.png Releases · kubernetes/dashboard (github.com)

# 下载 安装yaml
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.5.1/aio/deploy/recommended.yaml
# 列出yaml中依赖的镜像
cat recommended.yaml |grep image|uniq
# 手动下载镜像
docker pull kubernetesui/dashboard:v2.5.1
docker pull kubernetesui/metrics-scraper:v1.0.7

附录

参考资料：

1.Kubernetes(k8s) 1.23.6版本基于Docker的集群安装部署_kubernets 1.23.6 支持的docker版本-CSDN博客

2.【解决】Linux安装docker，报错Error downloading packages: 3:docker-ce-23.0.4-1.el7.x86_64: [Errno 256]-CSDN博客

3.k8s详细教程(一) (znunwm.top)

4.centos7基于yum repository方式安装docker和卸载docker_centos如何删除repository包-CSDN博客

avatar
文章
阅读
粉丝