AI 编程效率低、质量差?为什么以及如何解决

110 阅读4分钟

一、AI 编程为什么常常“不听话”?

在 AI 辅助编程场景下,用户往往不会一次性把所有需求“说清楚” ——
而是通过多次对话、迭代澄清需求。

这种“多轮对话”风格在人机交互、Agent 驱动、AI 辅助编码等场景都非常常见。
但从最新研究来看,LLM 在多轮、部分指定(underspecified)对话中,成功率会大幅下降。
这对 AI 编程工具(尤其是“对话式 / 交互式”的开发支持系统)是一个严重挑战。


二、研究结论:一次性给足信息,成功率提升 35%+

在 2025 年 5 月的论文
《LLMs Get Lost in Multi-Turn Conversation》arXiv:2505.06120)中,
研究者系统性地比较了两种编程方式:

他们在 15 个主流模型上,进行了超过 200,000 次模拟对话,
对比 single-turnmulti-turn 两种提示模式在六类生成任务上的表现(包括代码生成、数据库查询、摘要等)。

结果表明:
多轮上下文下,模型性能平均下降 约 39%(相比于单轮完整输入的形式)。

具体拆解如下:

  • Aptitude(能力 / 潜力)下降:即使在最优状态下,也比单轮略差(平均下降约 16%)
  • Reliability(可靠性 / 稳定性)恶化:在多轮设置下,错误率上升约 112%
模式描述平均任务成功率
One-Shot Prompting一次性提供完整需求与约束78%
Multi-Turn Refinement通过多轮补充和澄清需求54%

插入图片.png

结论非常明确:

当 LLM 在第一次就能拿到完整上下文(包括功能、约束、接口信息等),
代码正确率与结构完整性显著提升,平均减少 30%-40% 的沟通迭代。

换句话说,
大模型最怕“边说边改”,最爱“一次说清楚”。


三、对 AI 编程 / AI IDE 的启示

在 AI 辅助编程的实际场景中,这个问题尤为致命:

  • 开发者常常“逐步澄清需求”:先说大目标,再让 AI 改进、补充。
  • 如果模型在前几步理解偏了方向,后续修正常常徒劳。
  • 但若一次性写下所有需求,prompt 又太长、太贵、组织困难。
  • 因此,AI 编程工具需要在「多轮灵活性」与「上下文完整性」之间找到平衡。

正是在这个技术挑战之下,Crevo 的方案 显得格外有意义。


四、Crevo 的方案:一次给足 + 按需检索 + 迭代驱动

1. 核心思路:分层文档 + 迭代触发 + 语境检索

Crevo 将整个软件开发流程结构化为可索引的知识体系:

维度内容
用户故事用户目标与场景
PRD功能描述、业务逻辑
系统架构模块关系、服务依赖
数据库设计表结构、字段、约束
API 定义输入输出规范
UX/UI界面原型与交互流程
迭代开发计划功能拆解与优先级

这些文档构成了一个“知识基座”。

当开发者进入具体任务(例如 “实现用户登录”)时,
Crevo 的 AI IDE 会自动 检索 与该任务相关的文档片段 ——
包括需求、接口、数据库字段、UI、约束等 ——
并将它们一次性拼装成完整上下文 prompt 给 LLM。

即使用户在多轮对话中逐步操作,模型始终在“准单轮”上下文下思考。

2. 为什么这种方式有效

根据论文结论,Crevo 的方案自然解决了以下问题:

  • 符合“CONCAT策略”:自动将分散信息合并为单一 prompt,防止模型迷失。
  • 完整且精准的上下文:只取当前任务相关内容,同时保证信息足量。
  • 避免早期错误积累:模型在生成前就获取全部所需知识。
  • 可恢复性强:即便重新触发 prompt,系统能重构完整上下文。
  • 开发者无需重复说明背景,沟通与上下文损失几乎为零。

3. 实际应用示例

示例场景:

开发者输入:“我要一个用户登录接口。”

Crevo 自动检索相关信息:

  • 用户故事与登录流程
  • user 表结构
  • API 规格(POST /login 请求与响应)
  • UI 原型与交互逻辑
  • 当前迭代说明

随后,Crevo 将所有上下文整合为 prompt,生成:

  • 登录模块代码
  • 单元测试
  • 接口文档
  • 错误处理逻辑

用户追加:“加验证码”和“记住我”功能 →
系统自动重新检索更新上下文,再次生成完整实现。


五、背后的理念:从 Prompt 到 Context Graph

Crevo 的核心理念不是“写更好的提示词”,
而是——构建更好的上下文。

通过将所有开发信息结构化、图谱化(Context Graph),
Crevo 让 AI 拥有项目级记忆与全局推理能力,
真正实现“理解整个软件”的自然语言编程。

🌐 AI 编程的未来,不是更复杂的 Prompt,而是更智能的 Context。


文章来源

知乎:zhuanlan.zhihu.com/p/196180301…

延伸阅读