如果一个实习生入职第一天，9 秒钟删掉了公司的生产数据库，你大概率不会先骂他笨。
你会先问一句：谁给他的生产权限？
这就是我看完 PocketOS 这次事故后最强烈的感受。表面看是 AI 又翻车了，往深处看，是我们正把 AI 编程助手放进真实工程现场，却还按自动补全工具的安全级别来管它。
PocketOS 是一家创业公司，做开发工具。4 月 27 号，他们的创始人 Jer Crane 公开了这次事故的经过。
他们的工程师在用 Cursor 干活，调用的模型是 Claude Opus 4.6，Anthropic 公司目前最强的 AI 模型，写代码能力公认很猛。
那天，这个 AI 助手在修测试环境里一个小问题，自己翻出了一把 API 密钥，凭这把钥匙把生产数据库删了。
连带备份也受了波及。整个过程，9 秒。
真正吓人的不是 Claude 不够聪明，也不是 Cursor 突然变坏了。是 AI 判断错了之后，整条工具链居然允许它一路错到底。
这不是 AI 出错，是系统失守
AI 助手在排查测试环境一个凭证不匹配的问题，没停下来问人，开始在项目文件里翻找能用的钥匙。
它在一个跟当前任务完全无关的文件里，翻到了 Railway 的 API 密钥。Railway 是 PocketOS 用的云平台，简易版 AWS。这把钥匙原本只用来管域名，但权限远不止管域名，还能删数据库。
AI 助手就拿着它，调用了 Railway 的删除数据库接口。
Railway 官方文档里，删除接口那一页写得很直白：This will permanently delete the volume and all its data，翻译过来就是，这个操作会永久删除你的存储卷和里面的全部数据（volume 就是云上一块独立的硬盘，数据库文件都躺在上面）。
最关键的细节在这里：AI 判断错了之后，没有任何东西拦住它。
没有独立审批，没有人来确认，没有你确定要删生产数据库吗这种弹窗，没有把测试和生产环境的钥匙隔开。
Railway 的 CEO Jake Cooper 后来对媒体说，事故关键是 AI 拿到一把权限过大的钥匙，又调了一个没有延迟删除机制的旧接口。Railway 后续修补了接口，用户数据也救回来了。
数据救回来了，但问题没消失。这不是一家公司的偶然事故，是 AI 编程助手进入真实工程环境后的必然考题。
AI 已经坐到了驾驶位
过去说 AI 写代码，脑子里是 GitHub Copilot 那种东西。它补一行代码错了你删掉，函数跑不过你改掉。就像一个在副驾驶给你提建议的人，方向盘始终在你手里。
现在的 Cursor、Claude Code 不只是建议者了。它们能读你项目里的全部文件、在终端里执行命令、调云服务接口改配置、直接碰线上服务。已经从副驾驶坐到了驾驶位，手伸到了方向盘。
很多团队的权限管理还停在上一代。为了让 AI 好用，我们把代码仓库、终端、环境变量、云服务管理权限全交给它，还希望它少问问题多干活，最好一口气干完。
然后某一天，它真的很快。9 秒钟就能帮你制造一次公司级事故。
国际安全组织 OWASP给这类情况起了个名字，叫 Excessive Agency，过度授权：给 AI 太多工具、太宽的权限、太大的自主空间，关键操作又没有人工拦截。
PocketOS 这次几乎是教科书级的案例。AI 能读到钥匙，钥匙权限过宽，接口没有硬刹车，备份和生产数据又串在同一条风险链上。任何一环硬一点，都不会这么难看。
AI 拦不住自己
很多团队现在的方案，是在 AI 规则里写一句：不要执行危险命令、不要删除生产数据、不要做不可逆操作。
这当然要写，但远远不够。让 AI 自己读规则、自己判断、自己执行，等于没有审查。真正的刹车必须装在 AI 外面。
我自己整理了一张上生产前的清单，分享给你。
第一，默认 只读 。 AI 可以看代码、看日志、提方案，但写、删、跑数据库迁移这些动作，都得额外授权。
第二，把生产钥匙藏好。 API 密钥、密码、数据库连接串别直接写在项目文件里让 AI 翻到，放进专门的密钥管理工具（比如 HashiCorp Vault，一种把密码集中加密、按需发放的服务），并按测试 / 生产环境分开存。
第三，危险操作必须有人确认。 删数据库、清表、销毁云资源、上线部署，必须由 AI 之外的系统拦一下。审批流、弹窗、网关拦截，选一个能落地的方案。
第四，钥匙权限最小化。 一把只管域名的钥匙，不该有权删数据库。觉得分开配麻烦，等真出事时麻烦会加倍。
第五，备份要独立。 备份不能只是名义上有一份。误删发生时，它必须不在同一条删除链上。删生产数据的钥匙，不应该同时能删备份。
第六，所有操作要能回放。 AI 读了哪些文件、用了哪把钥匙、跑了什么命令、调了哪个接口，全部留痕。出事之后只剩一句AI 说它搞错了，那就太迟了。
这些规矩听起来不性感。但生产事故从来不管你性感不性感。
AI 越快，越要装刹车
我不想把这篇写成批判 Cursor，也不想嘲笑 Claude。换成任何一个足够强的 AI 编程助手，只要它能摸到生产钥匙、能调云服务接口、能执行不可逆操作，又缺少外部硬性拦截，都可能出事。
真正的问题是：AI 编程助手已经从工具变成了执行者，但很多公司还没给这个执行者配好制度。
你不会让一个刚入职的初级工程师，拿着管理员权限直接上生产环境。
那为什么让 AI 这么干？
过去两年，大家都在比谁的 AI 写代码更快。接下来我更关心另一件事：谁先把生产环境的删除键，从 AI 手里拿回来。
弱一点的 AI，最多写坏几行代码。
强一点的 AI，拿到错误权限后，真的能在 9 秒里帮你删库。
你现在敢让 AI 编程助手碰生产环境吗？ 评论区聊聊：你的边界是只让它看代码、允许它改测试环境、还是完全不让它进生产？
