Istio技术与实践03:最佳实践之sidecar自动注入

2,447 阅读2分钟

Istio 通过对 serviceMesh 中的每个 pod 注入 sidecar,来实现无侵入式的服务治理能力。其中,sidecar 的注入是其能力实现的重要一环(本文主要介绍在 kubernetes 集群中的注入方式)。

sidecar 注入有两种方式,一是通过创建 webhook 资源,利用k8s的webhook能力实现pod的自动注入,二是通过 istioctl 工具,对 yaml 文件进行手动注入。在这里对这两种方式进行简单介绍。

webhook自动注入:

准备条件:

  • 自动注入功能需要 kubernetes 1.9或更高版本;
  • kubernetes 环境需支持 MutatingAdmissionWebhook;
$ kubectl api-versions | grep admissionregistration
admissionregistration.k8s.io/v1beta1
  • 需要在 kube-apiserver 的启动参数中加入
  • 确保 master 到 node 容器网络通信正常。

自动注入控制:

  • 可通过在 sidecar-injector 的 configmap 中设置 policy=disabled 字段来设置是否启用自动注入(此处为全局控制是否启用自动注入功能);
$ kubectl get cm istio-sidecar-injector -nistio-system
apiVersion: v1
kind: ConfigMap
metadata:
name: istio-sidecar-injector
namespace: istio-system
data:
config: |-
    policy: enabled     //enabeld为开启,disabeld为关闭
    
  • 为需要自动注入的 namespace 打上标签 istio-injection: enabled(此处为ns级别的自动注入控制)。
$ kubectl get namespace -L istio-injection
NAME           STATUS    AGE       ISTIO-INJECTION
default        Active    1h
istio-system   Active    1h
kube-public    Active    1h
kube-system    Active    1h
$ kubectl label namespace default istio-injection=enabled
namespace "default" labeled
$ kubectl get namespace -L istio-injection
NAME           STATUS    AGE       ISTIO-INJECTION
default        Active    1h        enabled
istio-system   Active    1h
kube-public    Active    1h
kube-system    Active    1h
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: test
spec:
replicas: 1
template:
metadata:
annotations:
sidecar.istio.io/inject: “true”
// true为启用自动注入,false为关闭自动注入
  • 定义 webhook 参数文件 MutatingWebhookConfiguration,格式如下(在 helm 包的 sidecarInject 中)。

这里的语义就是,监听具有 istio-injection: enabled 的 label 的 namespace 下的 pod 资源,当发生 rules(CREATE POD)的动作时,则调用 services(istio-sidecar-injector.istio-system的/inject 接口)。

apiVersion: admissionregistration.k8s.io/v1beta1
kind: MutatingWebhookConfiguration
metadata:
  name: istio-sidecar-injector
 namespace: {{ .Release.Namespace }}
labels:
 app: istio-sidecar-injector
webhooks:
- name: sidecar-injector.istio.io
  clientConfig:
service:
  name: istio-sidecar-injector
namespace: {{ .Release.Namespace }}
  path: "/inject"
 caBundle: ""
rules:
- operations: [ "CREATE" ]
apiGroups: [""]
apiVersions: ["v1"]
resources: ["pods"]
failurePolicy: Fail
namespaceSelector:
matchLabels:
istio-injection: enabled
  • webhook 工作流程图
    介绍了自动注入的注意事项与原理,终于可以测试下自动注入的结果了
  • 首先安装 Istio 控制面,确保 sidecar-inject 安装完成;
$ kubectl get po -nistio-system | grep sidecar-injector
istio-sidecar-injector-5fb5999bf8-59k79          1/1       Running   0
1d
  • 部署一个简单的测试 deploy,此处我们以 nginx 为例;
$ kubectl get po | grep nginx
nginx-v1-74c674fbd5-fl9bh         1/1       Running   0          22s
  • 我们用步骤b).II中的方式为 default 的 namespace 打上自动注入标签,删除 pod,观察 pod 状态,可以看到pod的容器数由1变为2;
$ kubectl get po | grep nginx
nginx-v1-54fbccf6fd-ff4k2         2/2       Running       0          4s
nginx-v1-74c674fbd5-fl9bh         1/1       Terminating   0          5m
  • 可以看到sidecar容器已经注入成功,我们看下pod的描述信息,观察下自动注入做了什么。可以看到,自动注入向pod中插入了一个初始化容器istio-init和一个sidecar容器istio-proxy(详细参数可以参考configmap:istio-sidecar-injector);
$ kubectl describe po nginx-v1-54fbccf6fd-ff4k2
Name:           nginx-v1-54fbccf6fd-ff4k2
Namespace:      default
Status:         Running

...

Init Containers:
 istio-init:
Container ID:  
 docker://96951306e214594d0c1e550f732a81781287f79f0e5a3262455f38535d42d61f
Image:         istio/proxy_init:0.8.0

...

Containers:
 container-0:
Container ID:   
docker://237781c7ce1e8c1f49f68047142ce1738822bafbe504f836f51873cbb1ac1f5d
Image:          nginx:1.12-alpine-perl
Port:           80/TCP
State:          Running

...

istio-proxy:
Container ID:  
docker://7208d32552918a5853fd56171bdbab3de3ae734242d23b140f6e5c2a1a4bce64
Image:         istio/proxyv2:0.8.0
Args:
proxy
sidecar
     --configPath
/etc/istio/proxy
--binaryPath
/usr/local/bin/envoy
--serviceCluster
nginx
 
...

istioctl手动注入:

  • 下载 istioctl 工具并拷贝至环境,链接https://github.com/istio/istio/releases/
  • 将 istioctl 二进制拷贝至/usr/local/bin目录下
mv -f istioctl /usr/local/bin
  • mv -f istioctl /usr/local/bin
$ kubectl get cm -n istio-system | grep istio-sidecar-injector
istio-sidecar-injector                  1         15h
  • 准备需要注入的文件 test.yaml
  • 执行 istioctl 会在原始内容的基础上加入 sidecar 的配置内容,并输出到控制台。
$ kubectl apply -f <(istioctl kube-inject -f test.yaml)
  • 将 istioctl 处理之后的内容部署到 kubernetes 上
$ kubectl apply -f <(istioctl kube-inject -f test.yaml)
  • 可以通过 k8s 命令查看 pod 详细内容
$ kubectl describe pod test-c9f4b55c7-np4cf

总结:

这里更推荐自动注入的方式来实现 sidecar 的注入,可以通过在 deployment 的 annotation 中加入对应的 key 来实现自动注入的控制。自动注入实现的逻辑并不复杂,主要是对 k8s 中 webhook 的使用,以及通过模板,向 deployment 中注入相应的 container 资源等。