研发侧利器!k3d+k3s,轻松管理本地k3s集群!

2,335 阅读4分钟

前 言

前面的文章,我们都是围绕在k3s本身或是其关键的应用场景边缘计算中,阐述着相关内容。除了我们常提起的边缘计算领域,k3s还可以在研发侧提供便捷的k8s基础设施,在这个领域k3s的社区玩家们创造了一个小工具,它对于我们搭建本地k3s环境提供了非常大的便利,这个工具就是k3d。

Github链接:github.com/rancher/k3d

k3d使用

k3d的下载是非常方便的,可以访问Github Repo对应的release页面,选择对应架构的binary,也可以通过包管理工具或者手动编译来获取binary。k3d的原理就是在容器里面运行k3s,这样我们就可以像管理容器一样很方便的管理k3s。比如我们使用的版本是v1.3.4(本文撰时是latest版本),以下命令帮助我们快速创建一个k3s集群:

$ ./k3d create -n xxx-c1
INFO[0000] Created cluster network with ID d946268b2c5bed21adce83c58031391cb80d52a5291581ed2b17c5f19a8b4d1f
INFO[0000] Created docker volume  k3d-xxx-c1-images
INFO[0000] Creating cluster [xxx-c1]
INFO[0000] Creating server using docker.io/rancher/k3s:v0.9.1...
INFO[0001] SUCCESS: created cluster [xxx-c1]
INFO[0001] You can now use the cluster with:
 
export KUBECONFIG="$(./k3d get-kubeconfig --name='xxx-c1')"
kubectl cluster-info

根据返回信息提示,我们可以使用kubectl来操作本地的k3s集群:

$ export KUBECONFIG="$(./k3d get-kubeconfig --name='xxx-c1')"
$ kubectl get ns
NAME              STATUS   AGE
default           Active   3m13s
kube-system       Active   3m13s
kube-public       Active   3m13s
kube-node-lease   Active   3m13s
$ kubectl get no
NAME                STATUS   ROLES    AGE     VERSION
k3d-xxx-c1-server   Ready    master   3m15s   v1.15.4-k3s.1

这里有一处细节,就是k3d创建k3s集群的默认版本遵循什么规则?每个k3d版本在发布构建时,都会以发布k3s的latest版本作为默认版本,也就是说k3d v1.3.4发布时,k3s的latest刚好是v0.9.1。如果我们想运行指定版本的k3s,可以执行如下命令(使用-i指定k3s image):

$ ./k3d create -n k3s-v100 -i rancher/k3s:v1.0.0
 
$ kubectl get no
NAME                  STATUS   ROLES    AGE   VERSION
k3d-k3s-v100-server   Ready    master   24s   v1.16.3-k3s.2

在airgap环境使用时,尤其是网络受限无法下载某些镜像时,可以把k3s对应版本的airgap镜像下载下来,通过k3d导入到对应的k3s集群中,操作方式如下:

$ ./k3d create -n xxx-c4 -i rancher/k3s:v1.0.0 -v 
$(pwd)/airgap/v1.0.0/:/var/lib/rancher/k3s/agent/images

通过映射目录可以把airgap images传给k3s集群,k3s在启动时会自动加载该镜像文件。如果想针对某个k3s集群手动导入镜像,可以进入k3d创建的容器中,使用ctr命令导入:

$ ctr images import xxxx.tar
$ ctr images ls # check the results

默认情况下,通过k3d创建k3s集群,其实就是创建一个docker容器。如果我们想模拟多节点的k3s集群,可以直接通过k3d的worker参数控制,比如:

$ ./k3d create -n xxx-c5 -i rancher/k3s:v1.0.0 -v $(pwd)/airgap/v1.0.0/:/var/lib/rancher/k3s/agent/images --workers 2
 
$ kubectl get no
NAME                  STATUS   ROLES    AGE   VERSION
k3d-xxx-c5-worker-1   Ready    <none>   10s   v1.16.3-k3s.2
k3d-xxx-c5-worker-0   Ready    <none>   8s    v1.16.3-k3s.2
k3d-xxx-c5-server     Ready    master   7s    v1.16.3-k3s.2
 
$ docker ps
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                                         NAMES
08b7a0211be7        rancher/k3s:v1.0.0              "/bin/k3s agent"         2 minutes ago       Up 2 minutes                                                      k3d-xxx-c5-worker-1
85b4a46cf828        rancher/k3s:v1.0.0              "/bin/k3s agent"         3 minutes ago       Up 2 minutes                                                      k3d-xxx-c5-worker-0
acca7be5a452        rancher/k3s:v1.0.0              "/bin/k3s server --h…"   3 minutes ago       Up 2 minutes        0.0.0.0:6443->6443/tcp                        k3d-xxx-c5-server

执行过程中需要注意,由于是多个节点组建k3s集群,所以需要稍等片刻。执行成功后,我们会看到三个docker容器,2个纯粹的worker node和1个master+worker node。

由于k3d通过容器方式创建k3s集群,这就带来另外一个好处,就是我们可以在一个机器上部署多个k3s集群,且是不同版本的k3s,比如:


$ ./k3d create -n xxx-c1 -i rancher/k3s:v0.9.1
 
$ ./k3d create -n xxx-c2 --api-port 6888  -i rancher/k3s:v0.10.2
 
$ ./k3d  ls
+--------+-------------------------------+---------+---------+
|  NAME  |             IMAGE             | STATUS  | WORKERS |
+--------+-------------------------------+---------+---------+
| xxx-c2 | docker.io/rancher/k3s:v0.10.2 | running |   0/0   |
| xxx-c1 | docker.io/rancher/k3s:v0.9.1  | running |   0/0   |
+--------+-------------------------------+---------+---------+

这里需要注意,每个集群api-server暴露的端口需要做区分,否则会报端口重复占用错误。

既然我们可以在本地创建k3s,那么我们其实完全可以把这个k3s导入到本地的Rancher2中,这样就相当于给本地的k3s添加了一个UI控制界面。这个执行方式比较简单,只要通过docker exec进入容器中,执行import相关命令正常导入即可。不过需要注意的是,k3s v1.0.0版本需要Rancher2.3+版本才能兼容。其原因是,k3s做了API精简,Rancher2.2使用的导入命令中刚好引入了k3s v1.0.0无法兼容的resource version,如果你是一个高玩,可以手动修改resource version,否则请使用Rancher2.3。

因为k3d把k3s放在了容器中,所以当我们要暴露一些service时(比如ingress/nodeport等),需要通过k3d预先设定好端口映射。另外,我们在本地搭建k3s环境,也会希望对应的k3s能够使用本地的insecure registry。关于这部分,k3d目前也有一些文档描述:github.com/rancher/k3d… ,此部分文档还是比较清晰易懂,无需本文赘述。

后 记

k3s在研发侧支持方面,除了本文介绍的k3d之外,Rancher还在计划开发k3v,k3v可以在完整的k8s集群中虚拟出多个k3s集群,这会更方便IT基础设施团队为研发团队提供隔离的k8s能力。在云原生不断发展成熟的浪潮下,研发团队的交付物也在不断革新,从War包或者binnary到容器镜像再到helm chart方式,未来研发侧对灵活可变的k8s能力需求会特别大,为每个研发人员提供灵活且资源隔离的k8s设施,是容器基础设施未来发展的大趋势。对k8s管理平台而言,其能力边界也要从多物理集群管理延伸到多虚拟集群管理。