DeepResearch优化
参考:www.anthropic.com/engineering…
引言
在这个快速发展的技术时代,探索如何高效地进行深度研究变得尤为重要。本文基于最近的研究成果和开源项目的分析,分享了关于优化深度研究过程中的一些见解和方法。
探索更优的研究模式
错误模式的规避
在有了足够的结果之后,避免让agent继续进行不必要的冗长搜索或使用错误的工具是至关重要的。这不仅浪费资源,也可能导致偏离研究目标。
子Agent分工明确化
为了提高效率,子agent需要一个清晰的目标、输出格式以及关于使用工具和信息来源的指导。此外,定义任务边界以防止重复劳动同样重要。这有助于确保各个agent专注于各自的任务,避免工作重叠。
根据复杂度调整投入
对于简单任务,推荐使用1个agent并配备3到10个工具;而面对复杂任务,则建议采用2至4个agent,每个agent拥有10到15个工具。这种方法能够根据任务需求灵活调配资源。
并行处理与工具选择
并行启动多个子代理程序,并让它们同时利用多种工具可以显著提升效率。同时,为agent提供一种明确的探索方法来选择合适的工具也至关重要。
自我迭代与搜索策略
鼓励agent自行改进其prompt,通过诊断失败原因并提出改进建议实现自我迭代。此外,搜索策略应从宽泛到具体逐步深入,这样可以帮助我们更好地理解问题本质。
评估与生产可靠性
有效的评估策略
提倡使用小样本进行初步评估,而不是等到构建大规模评估体系后再开始。利用LLM进行评估也是一个不错的选择,它能提供与人类评判者相符的一致评分。
调试系统与工程挑战
当出现错误时,不应简单地重新开始,而是应该建立一个可以从错误发生点恢复的系统。添加全面的生产跟踪有助于诊断失败原因,并系统地解决问题。
结论
专注于最终状态评估而非逐轮分析被证明是成功的。这意味着,与其关注agent是否遵循了特定的过程,不如评估它们是否达到了正确的最终状态。这种方法允许agent找到实现相同目标的不同路径,同时保证预期的结果得以实现。
随着对话长度的增加,智能压缩和记忆机制变得不可或缺。此外,减少“传话游戏”,直接将子agent的输出写入文件系统中,可以有效防止信息丢失,并降低令牌开销。
通过不断优化这些方面,我们可以期待看到深度研究领域的进一步发展和突破。