AI 加速开发之后,如何应对尚未发现的代码安全威胁

0 阅读13分钟

AI 把代码生产速度提上去了,安全验证却很难按同样的比例扩张。棘手的地方,是程序可能功能正常、测试全绿,却在权限判断、异常路径、并发操作或依赖组合中埋着漏洞。

工程上已经有一套相当成熟的应对思路,用安全约束定义底线,用多种验证方法发现问题,用隔离机制限制后果,再把发现的问题转化为长期有效的回归测试。它无法保证消灭所有未知漏洞,但可以显著降低漏检概率、攻击成功率和事故损失。NIST 的安全软件开发框架,也把设计、代码审查、可执行代码测试和漏洞响应放在同一个生命周期里。

先区分,未知威胁究竟未知在哪里

不同的未知,需要不同的工程手段。把它们统一交给一个扫描器,通常会留下很大的盲区。

未知的类型典型情况主要应对方式
漏洞位置未知知道 SQL 注入的原理,但不知道项目中哪里存在静态分析、动态测试、数据流分析
触发条件未知特殊编码、异常输入或并发时序才能触发模糊测试、性质测试、并发测试
安全规则没有被写清楚开发者不知道某个操作必须同时验证租户与资源归属威胁建模、安全需求、业务不变量
依赖漏洞尚未公开当前版本没有漏洞公告,内部仍可能有缺陷来源控制、最小权限、隔离、持续监测
攻击方式超出现有规则多个看似正常的功能组合后形成攻击链场景化攻击测试、专家审查、纵深防御

这张表背后的关键区别是,有些问题缺少检测能力,有些问题缺少明确的安全规则,还有些问题只能通过架构降低风险。

AI 生成代码还增加了一层困难。生成器可能误解业务要求,测试生成器也可能沿用同一个误解,于是代码与测试相互印证,错误却被一起保留下来。腾讯相关实证研究及治理讨论,已将 AI 生成代码的风险放到模型接入、生成、评测和工程落地的全流程中处理。


成熟实践的核心,把未知问题转化为可验证的约束

工程上的突破口,是先回答一个比有没有漏洞更具体的问题,无论输入多古怪、调用顺序多意外,系统有哪些规则绝对不能被破坏?

让安全要求成为可以执行的测试

普通功能测试经常验证用户能否完成操作。安全测试还要验证用户能否完成不该被允许的操作。

以多租户 SaaS 为例,可以把安全要求写成下面这样的性质。

安全性质可执行的验证方法主要覆盖风险
用户只能访问所属租户的数据替换租户标识、资源标识,组合不同身份访问跨租户越权
无权限的写入不能改变业务状态请求被拒绝后,检查数据库、消息和外部调用拒绝前已产生副作用
同一业务请求不能重复扣款重复提交,并发提交,模拟超时后重试重放、竞态、幂等失效
文件处理不能越出允许目录测试路径变形、编码差异和符号链接场景路径穿越
密钥不能进入输出和日志触发异常,检查响应、日志及追踪数据敏感信息泄露

这些要求应由业务负责人和安全人员共同确认,再交给开发与测试实现。OWASP ASVS 提供了可用于设计、开发和验证的安全要求框架,比单纯拿漏洞排行榜逐项打勾更适合形成验收标准。

一个重要细节是,测试必须有明确的失败判据。
如果测试只观察程序有没有崩溃,它很难发现越权读取、重复退款或日志泄密。程序完全可以运行得很稳定,同时把安全底线踩穿。

用互补方法扩展发现能力

没有一种工具能独立覆盖所有未知风险。成熟流水线通常组合以下方法,并明确各自边界。

方法擅长发现的问题主要局限
SAST,静态应用安全测试危险调用、部分注入路径、不安全的数据流对业务语义、复杂框架和运行配置理解有限
SCA,软件成分分析已公开的依赖漏洞及依赖治理问题无法证明依赖不存在未公开漏洞
DAST,动态应用安全测试运行状态下的接口、配置和部分可利用问题依赖身份、测试数据及路径覆盖
覆盖率引导模糊测试解析异常、崩溃、越界和复杂输入触发条件默认判据常偏向崩溃,需要补充安全断言
性质测试与状态机测试越权、幂等失效、业务状态转换错误需要正确表达安全性质
专家或 AI 辅助审查跨文件逻辑、信任边界、业务攻击链判断仍可能出错,需要证据验证

这些方法的价值来自互补,扫描通过只能说明在本次检查范围内,没有发现对应类型的问题,不能直接等同于代码安全。NIST SSDF 明确包含源代码审查与分析,以及可执行代码测试等实践。

模糊测试尤其适合寻找尚未想到的触发条件

覆盖率引导模糊测试会不断生成和修改输入,并利用执行覆盖信息探索新的程序路径。libFuzzer 是成熟的实现之一,可以配合 Sanitizer 检测内存错误及部分未定义行为。

实际落地时,建议优先覆盖以下入口。

  • 文件解析器、解压缩逻辑、图片及文档处理组件。
  • 协议解析、序列化与反序列化组件。
  • URL、路径、模板和表达式处理逻辑。
  • 接收外部输入的本地代码库或原生扩展。

Web 业务还需要进一步把测试对象扩展到操作序列。例如,创建订单后修改身份,再重复支付、取消、退款,检查是否出现非法状态转换。

输入模糊测试负责探索意外输入,状态机测试负责探索意外流程。 二者覆盖的风险并不相同。

差分测试和变形测试,可以缓解正确答案难以穷举的问题

很多复杂程序,很难为每一个输入手写标准答案。这时可以采用两类补充方法。

  • 差分测试。让同一输入经过两个独立实现或新旧版本,比较结果。适合协议解析、编解码和兼容性检查。
  • 变形测试。改变输入中的某些条件,检查输出是否遵守预期关系。例如,只切换为无权限身份后,不应继续返回原先可见的敏感数据。

它们同样有边界。两个实现可能共享同一个错误,合法的实现差异也可能产生误报。因此,差异是调查线索,仍需结合安全要求判断。

高风险逻辑采用独立验证,避免生成与验收共享盲区

可以让 AI 协助编写测试、解释告警、寻找可疑路径,但关键验收标准应来自独立的业务规则和安全要求。

对于权限、支付、密钥管理等模块,建议形成这样的验证关系。

export_n41t76.png

AI 安全审查适合作为额外的一条发现路径。OpenAI 对 Codex Security 的技术说明,也讨论了从仓库架构、信任边界与预期行为出发,再进行验证的方式,同时明确保留 SAST 的工程价值。这类说明能够解释方法差异,不能单独作为某个产品检出率的证明。

对于规模较小、后果严重的状态机或授权算法,还可以开展模型检查或形式化验证。它们能够在给定模型和假设下提供更强保证,但建模和维护成本较高,适合选择性投入。


工程落地,让发现能力和风险控制一起增长

即使验证做得很好,生产系统仍需要承担残余风险。成熟方案会同时建设发布前的发现能力和发布后的损害控制能力。

用快速检查与深度验证两条通道承接代码增长

如果每个提交都跑完整套深度测试,研发很容易被阻塞。比较实用的做法,是按风险分层安排检查。

快速通道面向每次提交或合并请求。

  • 密钥扫描、增量 SAST、依赖变更检查。
  • 单元测试和关键安全性质测试。
  • 识别身份认证、授权、支付、文件处理等高风险变更。
  • 对高置信、严重的问题设置合并阻断。

深度通道面向高风险变更、定时任务和发布候选版本。

  • 跨文件或全仓库分析。
  • 带有真实权限组合的 DAST 与业务攻击测试。
  • 长时间模糊测试、并发测试和异常恢复测试。
  • 专家审查,以及隔离环境中的漏洞复现。

增量扫描用于缩短反馈时间,完整验证用于发现累积变化和跨模块问题。仅扫描改动行,容易漏掉新代码与旧代码组合形成的攻击路径。

现有代码安全平台已经提供 IDE、CLI 和 CI/CD 集成,以及 SAST、SCA 等组合能力,接入方式本身较为成熟。产品声称的 AI 检测效果,则仍需使用本团队代码和已知漏洞样本做验证。

对告警按实际风险排序,避免审查能力被噪声淹没

告警优先级应综合判断以下因素。

  • 问题所在路径能否被外部或低权限身份访问。
  • 攻击是否需要特殊条件,现有条件是否满足。
  • 受影响资产是否涉及资金、密钥或敏感数据。
  • 利用后能获得多大权限、影响多少租户。
  • 是否已有隔离、权限限制或其他有效缓解措施。

可达性和可利用性分析用于排序,不能轻率地作为永久忽略理由。 当前不可达的代码,可能因为配置变化、新入口或后续重构变得可达。

对于 AI 给出的发现,尽量要求提供完整证据链。

  • 攻击者可以控制什么。
  • 输入经过哪些处理步骤。
  • 哪个安全检查失效。
  • 最终产生什么安全后果。
  • 如何在授权的隔离环境中复现。

无法复现也不代表一定没有风险,部分问题依赖生产配置或特定时序。此时应记录未验证条件,交由人工判断。

用最小权限与隔离,兜住尚未发现的漏洞

面对未知的漏洞,架构控制往往比再增加一个扫描器更可靠。

  • 服务最小权限。业务服务只获得必要的数据库、文件和云资源权限。
  • 限制网络出口。对文件处理、转换和 AI 执行任务,按需求配置外联权限。
  • 处理不可信内容时隔离运行。采用低权限身份、只读文件系统和资源限制。
  • 服务端强制授权。租户身份与资源归属由可信上下文验证,避免相信客户端传入的标识。
  • 具备发布控制。支持灰度、回滚和高风险功能关闭。
  • 记录安全相关事件。持续观察异常授权失败、跨租户访问尝试和异常外联,同时避免日志泄露敏感数据。

容器本身不能自动构成强安全边界,隔离效果仍取决于权限、挂载、内核及运行配置。

如果开发流程中使用 Agent,还要隔离开发执行环境。仓库内容、检索材料或工具返回值可能携带提示注入,诱导 Agent 执行越权动作。因此,Agent 不宜默认获得生产密钥、任意外网访问和直接合并发布权限。AWS 的生成式 AI 纵深防御指南也强调,下游工具授权与数据访问边界需要独立控制。

将修复沉淀为能力,而非一次性的补丁

每次漏洞修复后,都应补上一项能防止同类问题再次出现的工程资产。

  • 可重复执行的安全回归测试。
  • 模糊测试语料和最小失败样本。
  • 必要时新增或调整的扫描规则。
  • 更安全的公共组件或 API。
  • 针对根因的开发规范与培训材料。

例如,项目多次出现遗漏租户过滤的问题,就应考虑集中封装数据访问与授权策略,让普通开发路径自动携带约束,减少每位开发者重复实现安全逻辑的机会。

团队可以从下面这个最小闭环起步。

  1. 梳理高风险入口、敏感资产和信任边界。
  2. 为关键模块写出可执行的安全性质。
  3. 接入密钥扫描、SAST、SCA 与关键安全测试。
  4. 对高风险解析组件持续运行模糊测试。
  5. 高风险变更经过独立审查和隔离验证。
  6. 发布后持续监测,并把漏洞转为回归用例。

衡量效果时,关注关键入口的安全测试覆盖、已知漏洞能否被稳定检出、有效告警占比、修复耗时,以及同类漏洞是否复发。代码覆盖率可以辅助判断,但不能替代这些指标。

未知威胁无法被提前全部列举,工程体系却可以提前准备好。 把安全要求写清楚,把验证路径做独立,把执行权限收紧,把事故经验沉淀下来,才有机会让验证能力跟上 AI 带来的代码增长。


参考资料

NIST,Secure Software Development Framework,SP 800-218
csrc.nist.gov/pubs/sp/800…

OWASP,Application Security Verification Standard
asvs.owasp.org/

LLVM,libFuzzer,a library for coverage-guided fuzz testing
llvm.org/docs/LibFuz…

腾讯安全应急响应中心,当 AI 成为代码贡献者,软件安全正在发生怎样的变化?
security.tencent.com/index.php/b…

OpenAI,为什么 Codex Security 不依赖 SAST 报告
openai.com/zh-Hans-CN/…

AWS,参考 OWASP 10 大 LLM 安全风险,针对生成式 AI 应用程序构建深度防御安全架构
aws.amazon.com/cn/blogs/ch…

阿里云,代码安全
www.aliyun.com/product/cod…