每周读论文-10.21

BoBJ
491 阅读5分钟

LIGHTRAG: SIMPLE AND FAST RETRIEVAL-AUGMENTED GENERATION

本文探讨了一种轻量化的RAG增强方案。

RAG技术缺陷

  1. RAG技术是什么？

    Retrieval-Augmented Generation (RAG)是一种通过整合外部知识源来增强大型语言模型（LLMs）的方法。Chunking(分块)在促进检索增强生成过程中的作用至关重要: 通过将大型外部文本库分解为更小、更易管理的片段，分块显著提高了信息检索的准确性。

    本质上，RAG（检索增强生成） = 检索技术 + LLM 提示

    螢幕截圖 2024-10-24 上午7.51.11.png

  2. RAG技术的不足

    1. 许多方法依赖于扁平的数据表示，限制了它们根据实体之间复杂关系理解和检索信息的能力
    2. 往往缺乏上下文意识，无法在各种实体及其相互关系中保持一致性。如： 考虑一个用户询问：“电动车的兴起如何影响城市空气质量和公共交通基础设施？” 现有的检索增强生成（RAG）方法可能会检索到关于电动车、空气污染和公共交通挑战的独立文档，但难以将这些信息综合成一个连贯的回答。 用户可能会收到一个片段化的答案，无法充分捕捉这些主题之间复杂的相互依赖关系。

本文主要成果

图在表示不同实体之间的相互依赖性方面特别有效。本文在此基础上，通过图的应用解决了三个主要问题：

  1. Comprehensive Information Retrieval (信息检索)
  2. Enhanced Retrieval Efficiency
  3. Rapid Adaptation to New Data

本篇文章主要实现了:

  1. 方法论： 基于图增强文本索引的双层检索范式 dual-level retrieval paradigm with graph-enhanced text indexing.
  2. 实验发现：通过评估模型消融、响应效率、检索准确度以及对于新信息的适应性对LightRAG进行评估，认为相比baseline有显著提升。

本文的应用实现架构

RAG由检索组件和生成组建组成。

螢幕截圖 2024-10-24 上午7.55.40.png
  • M=(G,R) M=(G,R) 表示整个模型，其中：
    • GG代表检索模块
    • RR代表生成模块
  • M(q,R)=G(q,φ(q;D))M(q,R)=G(q,\varphi(q;D)) 表示生成过程，其中：
    • qq代表输入序列
    • DD代表外部数据库

其中，检索模块R又包含两个重要的功能，分别是:

  • Data Indexer: 基于外部数据库建立具有特定数据结构的数据索引
  • Data Retriever: 通过将查询与索引数据进行比较，获取相关文档,从而获得高效的上下文响应。
螢幕截圖 2024-10-24 上午7.52.21.png
基于图的文本检索

  1. 关系解析

    利用提示词去让LLM识别和提取多种实体（如名称、日期、地点和事件）及其之间的关系。收集到的信息将用于构建一个全面的知识图谱。

  2. 去重操作

    通过识别和合并来自不同文本片段的相同实体和关系，减少图操作的开销，提高数据处理效率。

  3. 利用LLM Profiling实现键-值生成

    每个索引键是一个单词或短语，旨在实现高效检索，而对应的值是总结外部数据相关片段的文本段落，以辅助文本生成。

双层检索范式

  1. 检索方案

    • 具体查询：这些查询以细节为导向，通常涉及图中的特定实体，需要精确检索与特定节点或边相关的信息。例如，一个具体查询可能是：“《傲慢与偏见》的作者是谁？”
    • 抽象查询：相对而言，抽象查询更具概念性，涵盖更广泛的主题、摘要或总体思路，而不直接与特定实体相关。抽象查询的一个例子是：“人工智能如何影响现代教育？”

    为了适应多样化的查询类型，LightRAG 在双层检索范式中采用了两种不同的检索策略。这确保了具体和抽象的询问都能有效应对，使系统能够提供针对用户需求的相关响应。

    • 低级检索：这一层主要集中于检索特定实体及其相关属性或关系。该层级的查询以细节为导向，旨在提取有关图中特定节点或边的精确信息。
    • 高级检索：这一层处理更广泛的主题和总体思路。该层级的查询聚合跨多个相关实体和关系的信息，提供对更高层概念和摘要的洞察，而不是具体细节

    通过整合图和向量，提升检索效率。

    1. 查询关键词提取：对于给定的查询，LightRAG 的检索算法首先提取局部查询关键词和全局查询关键词
    2. 关键词匹配：该算法使用高效的向量数据库，将局部查询关键词与候选实体匹配，将全局查询关键词与链接到全局关键词的关系匹配。
    3. 引入高阶相关性：为了增强查询的高阶相关性，LightRAG 进一步收集在检索到的图元素的局部子图中的邻近节点。
检索答案的生成

通过分析函数P生成的相关实体和关系的连接值V: 它包含了实体和关系的名称、描述以及原始文本的摘录。通过将查询与这些多源文本统一，LLM 生成符合用户需求的信息性答案，确保与查询意图的一致性。

复杂度分析

计算两个阶段的复杂度：

  1. 基于图的索引阶段

  2. 基于图的检索阶段

    检索机制依赖于基于向量的搜索，与传统的检索增强生成（RAG）系统相似。但不同的是，LightRAG 专注于检索实体和关系，而非整块文本。这种专注减少了检索的复杂性。

Github开源仓库

github.com/HKUDS/Light…

avatar
文章
阅读
粉丝