2023年RAG+LLM盘点：揭秘模型检索增强生成的发展历程！

论文标题：Retrieval-Augmented Generation for Large Language Models: A Survey

论文链接：arxiv.org/pdf/2312.10…

RAG是指在LLM回答问题之前，从外部知识库中检索相关信息。本文概述了RAG的开发范式，包括朴素RAG、高级RAG和模块化RAG。讨论了RAG的三个主要组件:检索器、生成器和增强方法，以及每个组件中的关键技术。本文还介绍了RAG模型的评价，并介绍了未来可能的研究方向。

从时间轴上看，大部分与RAG相关的研究都是在2020年之后出现的，而ChatGPT在2022年12月发布是一个重要的转折点。自ChatGPT发布以来，自然语言处理领域的研究进入了大模型时代。原生的RAG技术很快获得了突出地位，领先相关的研究数量迅速增加。而言强化策略中，强化过程的研究预训练和监督微调阶段已经完成自引入RAG概念以来一直在进行。然而,大多数研究都是在推理过程中进行强化的阶段出现在LLM时代。这主要是因为与高绩效相关的高培训成本大的模型。研究人员试图改进模型通过在推理阶段包含RAG模块，以一种有效的方式结合外部知识来生成。关于增广的使用早期的RAG主要关注非结构化数据的应用，特别是在开放领域的背景下回答问题。随后，知识的范围可供检索的来源扩大，具有高质量的使用数据作为知识来源，有效地解决问题，如是错误知识和幻觉的内化在大型模型中。这包括结构化的知识知识图谱就是一个典型的例子。最近,人们越来越关注自我检索，这涉及到挖掘LLM自身的知识来提高他们的性能。