问题描述

前端跨域问题：当页面中加载或者异步请求与原始页面不同源的资源时，浏览器的同源策略会拦截请求，比较简单的方式是后端增加一个 nginx 服务，给响应数据加上 CORS 相关的 header
证书问题：当 https 页面加载 http 资源或者没有有效证书的资源时，页面会出现 “不安全” 的标识，因此需要给请求资源的域名申请证书，可以使用 Let's Encrypt 免费申请证书。对于公司内部的域名等外网无法访问的情况，则只能自行购买证书，并在 nginx 中配置

下面配合 k8s 分别使用 nginx service 和 nginx ingress 两种方案实践

解决方案

方案一：使用 nginx service

分别部署两组服务，一个是 web app 的 service 和 deployment，另一个是 nginx，用户直接访问的是 nginx 的 service，再由 nginx 转发到 web app 所在的 service，这种过程与传统 nginx 的部署方式很相似，只需要将 proxy_pass 地址改为 k8s 内部 dns 可以解析的域名：my-svc.my-namespace.svc.cluster-domain.example，结构类似如下：

这种方案需要单独部署一个 nginx，并且需要将本地文件挂载到 pod 中去，需要根据 host 进行配置，并不能完全做到一键部署。

该方案文件目录如下：

app
├── nginx
│   ├── deploy.yaml
│   └── svc.yaml
├── app.conf      # nginx 配置文件
└── app.yaml

nginx 相关配置

nginx service 和 deployment

# app/nginx/deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9
        volumeMounts:
        - mountPath: /etc/nginx/conf.d/default.conf  # nginx 配置文件在 pod 中的路径
          name: nginx-volume
        ports:
        - containerPort: 80
      volumes:
      - name: nginx-volume
        hostPath:
          path: /path/to/app/app.conf  # nginx 配置文件在本地的路径，将挂载到上面 volumeMounts 配置的路径，并覆盖 pod 中的 /etc/nginx/conf.d/default.conf

# app/nginx/svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
    run: nginx
spec:
  ports:
  - port: 80
    protocol: TCP
  selector:
    run: nginx

nginx 配置

# app/app.conf
server {
	server_name _ ;
	listen 80;

	location / {  
		# 允许 CORS 所需要的 header，如果浏览器中仍然出现 Access-Control-Allow-Headers 相关的报错则需要另外添加和修改 Access-Control-Allow-Headers 这一项
	    add_header Access-Control-Allow-Origin *;
	    add_header Access-Control-Allow-Methods 'GET, POST, OPTIONS';
	    add_header Access-Control-Allow-Headers 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization';

		proxy_pass http://app.default.svc.cluster.local:8018;  # 这里根据 k8s 集群内部的 dns 规则填写 web app 的地址，host 遵循 my-svc.my-namespace.svc.cluster-domain.example 的规则
	}
}

web app 相关配置

# app/app.yaml
apiVersion: v1
kind: Service
metadata:
  name: app
spec:
  selector:
    app: app
  ports:
  - protocol: "TCP"
    port: 8018
    targetPort: 8018
  # type: LoadBalancer 内网下无法使用 LoadBalancer 分配 External IP，会导致 service 的 External IP 一直是 <Pending>。因此不可使用 LoadBalancer 模式，可以使用默认的 NodePort
  
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: app
spec:
  selector:
    matchLabels:
      app: app
  replicas: 2
  template:
    metadata:
      labels:
        app: app
    spec:
      containers:
      - name: app
        image: app:prod
        ports:
        - containerPort: 8018

HTTPS 证书配置

如果服务器拥有外网 IP 就可以使用 Let's Encrypt 等申请免费证书，一般流程是在服务器上使用 certbot 申请证书得到 .crt 和 .key 文件，然后使用 k8s 的 volumes 将证书挂载到 nginx 容器的相应位置

# app/nginx/deploy.yaml
...
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9
        volumeMounts:
        - mountPath: /etc/nginx/conf.d/default.conf  # nginx 配置文件在 pod 中的路径
          name: nginx-volume
        - mountPath: /etc/ssl/YOUR_SSL.crt  # crt 文件在 pod 中的路径
          name: ssl-crt
        - mountPath: /etc/ssl/YOUR_DOMAIN_NAME.key  # 域名的 key 文件在 pod 中的路径
          name: domain-key
        ports:
        - containerPort: 80
      volumes:
      - name: nginx-volume
        hostPath:
          path: /path/to/app/app.conf  # nginx 配置文件在本地的路径，将挂载到上面 volumeMounts 配置的路径，并覆盖 pod 中的 /etc/nginx/conf.d/default.conf
      - name: ssl-srt
	    hostPath:
	      path: /path/to/YOUR_SSL.crt  # crt 文件在本地的路径
	  - name: domain-key
	    hostPath:
	      path: /path/to/YOUR_DOMAIN_NAME.key  # 域名的 key 文件在本地的路径

nginx 相应配置如下：

server {  
	listen 443;  
  
	ssl on;  
	ssl_certificate /etc/ssl/YOUR_SSL.crt;  
	ssl_certificate_key /etc/ssl/YOUR_DOMAIN_NAME.key;  
  
	server_name YOUR.DOMAIN;  
	location / {  
	    proxy_pass http://app.default.svc.cluster.local:8018;
	}  
}

使用这种方法还需要在服务器上配置自动更新证书相关程序，同样可以通过 certbot 安装。

如果是自行购买的证书也可以按照上面的方式挂载和配置 .crt 和 .key 文件

方案二

使用 Ingress，外部请求首先访问的是 Ingress，然后将请求分发到不同的 service，这样不必再另外创建一个 nginx 的 deployment ，结构如下：

该方案文件目录如下：

app
├── cloud-generic.yaml
├── mandatory.yaml
├── ingress.yaml
├── deploy.yaml
└── svc.yaml

配置 ingress-nginx

$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml
$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/cloud-generic.yaml

上面 cloud-generic 中定义的 ingress-nginx 使用了 type: LoadBalancer，如果是内网环境，不能分配 External IP 则需要改成 type: NodePort

$ kubectl get pods -n ingress-nginx                                                                                      
NAME                                        READY   STATUS    RESTARTS   AGE                                                        nginx-ingress-controller-7dcc95dfbf-zxmc4   1/1     Running   0          11h
$ kubectl exec -it nginx-ingress-controller-7dcc95dfbf-zxmc4 bash -n ingress-nginx
www-data@nginx-ingress-controller-7dcc95dfbf-zxmc4:/etc/nginx$ cat nginx.conf
这里将输出 nginx 默认配置

下面配置 ingress，在 ingress 中设置跨域相关的 nginx 配置

# app/ingress.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: app-ingress
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/proxy-connect-timeout: '30'
    nginx.ingress.kubernetes.io/proxy-send-timeout: '500'
    nginx.ingress.kubernetes.io/proxy-read-timeout: '500'
    nginx.ingress.kubernetes.io/send-timeout: "500"
    nginx.ingress.kubernetes.io/enable-cors: "true"
    nginx.ingress.kubernetes.io/cors-allow-methods: "*"
    nginx.ingress.kubernetes.io/cors-allow-origin: "*"
    ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - http:
    paths:
    - path: /app
      backend:
        serviceName: app
        servicePort: 8018

配制好 ingress.yaml 后再次查看 nginx-ingress pod 中 nginx 的配置如下：

# nginx.conf
## start server _
server {
    server_name _ ;

    listen 80 default_server reuseport backlog=511 ;
    listen 443 default_server reuseport backlog=511 ssl http2 ;
				
	...
				
    location /app{
        set $namespace      "default";
        set $ingress_name   "app-ingress";
        set $service_name   "";
        set $service_port   "";
        set $location_path  "/app";

        ...

        more_set_headers 'Access-Control-Allow-Origin: *';
        more_set_headers 'Access-Control-Allow-Credentials: true';
        more_set_headers 'Access-Control-Allow-Methods: GET, PUT, POST, DELETE, PATCH, OPTIONS';
        more_set_headers 'Access-Control-Allow-Headers: DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization';
    }
    ...
}
## end server _

可以看到 CORS 相关的 header 已经被加入 /app 中，如果还需要添加其他的 location，则可以在 ingress.yaml 中的 spec/rules/paths 中配置

web app 的 deploy.yaml 和 svc.yaml 与前一种方法的相同

HTTPS 证书配置

对 ingress 配置 HTTPS 证书主要需要使用 cert manager，这个工具室 k8s 原生的证书管理工具，支持 Let's Encrypt 等免费证书，也支持自己购买的证书，同时提供了自动更新证书的功能，官方文档中已经给出了详细的使用方法，也可以参考 How to Set Up an Nginx Ingress with Cert-Manager on DigitalOcean Kubernetes

参考