Kubernetes 多集群接入:kubeconfig 只进不出

13 阅读6分钟

Kubernetes 多集群接入:kubeconfig 只进不出

Alioth 技术笔记 · 第 14 篇 · Kubernetes / 安全 仓库:github.com/aide-family… | 在线演示:web.alioth.asia/

导语

多集群管理是运维平台最吸引人的功能之一:一个页面看所有集群的节点、工作负载、Pod 和 Ingress。但它同时引入了一类最危险的数据——租户提交的 kubeconfig 是"要在我这个进程里执行的配置"。文件里随便一个 exec 插件、一个 tokenFile 路径,都可能变成跨租户的命令执行或本机文件读取。Alioth 的做法是:先探测、拒绝一切内嵌以外的凭据、加密后只进不出。这篇讲这条边界怎么守住。

一、探测不通过就不入库

func (r *clusterRepo) CreateCluster(ctx context.Context, in bo.Cluster, kubeconfig, metricsDatasourceUID string) (*bo.Cluster, error) {
    // 探测不通过就不写库:避免接入一条永远连不上的集群。
    probe, err := probeKubeconfig(ctx, r.log, kubeconfig)
    if err != nil { return nil, err }
    cipher, err := r.box.encrypt(strings.TrimSpace(kubeconfig))
    ...
}

顺序很重要:先连一次,再落库。如果先存后测,页面上会留下一堆"永远连不上"的集群,用户也无从判断是自己填错了还是集群挂了。

二、只接受内嵌凭据

parseKubeconfig 里有一段注释,把威胁模型写得非常清楚:

// 只接受内嵌凭据。exec 和 auth-provider 会在 alioth 进程里执行租户提交的
// 命令;tokenFile 与证书文件路径会读取 alioth 本机文件,tokenFile 的内容
// 还会被当成 Bearer Token 发往 kubeconfig 指定的地址。这些都跨越了租户边界。
if authInfo := parsed.AuthInfos[kubeContext.AuthInfo]; authInfo != nil {
    if authInfo.Exec != nil || authInfo.AuthProvider != nil || authInfo.TokenFile != "" ||
        authInfo.ClientCertificate != "" || authInfo.ClientKey != "" {
        return nil, "", "", merr.Invalid("kubeconfig must embed credentials; ...")
    }
}

逐个看这些拒绝项在防什么:

字段如果放行会发生什么
exec租户在 kubeconfig 里写 command: /bin/sh,平台进程就替他执行任意命令
auth-provider同上,走插件机制
tokenFile平台读本机文件当 Token,发给租户指定的地址 —— 文件泄露 + SSRF
client-certificate / client-key 文件读本机任意路径(/dev/zero 之类还会阻塞或放大内存)
proxy-url让平台流量绕道租户指定的代理,绕过网络策略
certificate-authority 文件与证书文件同理,形成租户可控的文件探测面

结论就一句:能内嵌的必须内嵌,不能内嵌的一律拒绝。

三、解析之后再清一遍

即使前面拒绝了,RESTConfigFromKubeConfig 也可能把某些字段填回 rest.Config。所以代码在最后又擦了一次:

// 再清一遍,避免 client-go 后续版本从其它字段回填这些能力。
restConfig.ExecProvider = nil
restConfig.AuthProvider = nil
restConfig.BearerTokenFile = ""
restConfig.CertFile = ""
restConfig.KeyFile = ""
restConfig.CAFile = ""
restConfig.Proxy = nil

这条"双保险"看起来冗余,但它防的是依赖升级:今天 client-go 不会回填,不代表下一个版本不会。安全边界要写在自己的代码里,而不是依赖第三方库的默认行为。

四、探测:版本必读,节点数可选

probeCtx, cancel := context.WithTimeout(ctx, probeTimeout)
info, err := client.Discovery().ServerVersion()
if err != nil { return nil, kubeError(logger, err) }
...
nodes, err := client.CoreV1().Nodes().List(probeCtx, metav1.ListOptions{})
if err != nil {
    // 只读版本也算连通;没有节点读取权限时节点数保持 0。
    if apierrors.IsForbidden(err) { return probe, nil }
    return nil, kubeError(logger, err)
}

为什么要区分?因为真实环境里大量 kubeconfig 是最小权限的:能连、能读版本,但没有 list nodes 的权限。如果强制要求节点数,这类合法接入会被拒之门外。所以判定"连通"的唯一标准是 ServerVersion 成功,节点数只是锦上添花。

五、错误映射:别让上游状态码污染平台语义

kubeError 里有两处注释值得抄下来:

case apierrors.IsUnauthorized(err):
    // 凭据被集群拒绝不是平台未认证,返回 401 会让浏览器清掉登录态。
    return merr.Invalid("kubeconfig credential was rejected by the cluster")
case apierrors.IsForbidden(err):
    // 集群侧拒绝不是平台权限问题。返回 403 会让前端跳 /forbidden,
    // 用户就看不到受限 kubeconfig 的真实原因。
    return merr.Client("cluster credential is not allowed to perform this operation")

这是很典型的"两套语义撞车":集群返回 401 表示"你的 kubeconfig 不行",平台返回 401 表示"你该重新登录"。如果直接透传,用户会莫名其妙被登出;透传 403,前端会跳到一个完全无关的无权限页。所以上游状态码必须翻译成本平台的错误语义。

另外,错误文本不带上游响应体——避免把集群地址、内部细节带回给调用方。

六、加密:AES-256-GCM,密钥由配置派生

sum := sha256.Sum256([]byte(raw))          // raw = encrypt_key
key := sum[:]                               // 32 字节
gcm.Seal(nonce, nonce, []byte(plain), nil)  // nonce 前置,整体 base64

用 GCM 而不是 CBC,是因为它同时提供机密性和完整性——kubeconfig 被篡改(比如改掉 server 地址)会解密失败,而不是静默连到一个恶意地址。

"只进不出"是接口层的约束:Registry 的注释写着 kubeconfig 只在接入和替换时提交,读取接口只返回元数据。列表页展示的是 API Server、版本、最近检测时间、最近错误,永远不会回显原文。

七、更新与并发

替换 kubeconfig 的语义是"非空才替换":空字符串表示只改名称和备注,保持原凭据。这个约定让前端不用为了改个名字而重新提交一遍密钥。

手动测试连通性时还有个并发细节:

// 只在凭据没有被替换时更新,避免用旧配置的检测结果覆盖新凭据的状态。
Where(..., cluster.KubeconfigCipherEQ(cipher), ...)

探测是网络操作,可能耗时几百毫秒;期间用户完全可能替换了 kubeconfig。用密文本身做条件,保证"检测结果只写回它自己那一版凭据",这和任务表的乐观校验是同一个思路。

八、几个真实的坑

  1. 多 context 只取 current-context。 一份 kubeconfig 可以带很多集群,Alioth 只接入当前 context 指向的那一个,并在列表里显示 context_name,避免"我接进来的到底是哪个集群"的困惑。
  2. 探测失败也要更新状态。 TestCluster 在失败时仍写 last_checked_at 和 last_error,页面才能显示"这个集群最后一次检测失败了"。
  3. 名称唯一但可改。 集群名在同一租户内唯一,改名不影响 UID,权限与绑定关系不会断。
  4. 凭据泄露的爆炸半径。 加密密钥来自配置(auth.encrypt_key),一旦与数据库一起泄露,所有 kubeconfig 都可解密——所以部署时它应该来自 Secret,而不是配置文件默认值。

九、怎么验证

app/alioth/internal/biz/cluster/registry_test.go 覆盖了集群输入校验与工作负载类型;permission_test.go 验证了接入、探测、改名各自的权限点(cluster:read / cluster:write)。手工验证:

git clone https://github.com/aide-family/moon.git && cd moon
make dev-up
open http://127.0.0.1:8080

拿一份本机 ~/.kubectl/config(带 exec 插件的那种)直接粘贴接入,应该被拒绝并提示"必须内嵌凭据";再把 exec 段删掉、只保留内嵌证书与 server,就能正常接入并看到版本号。

结语

Kubernetes 多集群接入的安全性,不取决于加密做得多强,而取决于你允许 kubeconfig 里出现什么。exec、tokenFile、证书路径、proxy 这些字段,本质是把平台进程的一部分执行能力交给了租户。Alioth 的选择很保守:只接受内嵌凭据、解析后再擦一遍、加密存储、只进不出、上游错误码统一翻译。保守的代价是某些 kubeconfig 用不了;但它保证了这个功能不会成为整个平台最薄弱的一环。


下一篇:Pod exec 与日志流——WebSocket 超时与权限拆分的细节。