引言
在信息检索过程中，一个常见的挑战是我们通常无法预知存储系统未来会面临的具体查询。这意味着，与查询最相关的信息可能埋藏在大量无关语句的文档中。传递完整文档给应用程序，可能会导致更高的LLM调用成本和较差的响应质量。上下文压缩旨在解决这一问题。通过在给定查询的上下文中“压缩”文档，仅返回相关信息。
主要内容
上下文压缩概述
上下文压缩的基本思路是在返回检索到的文档之前，根据查询上下文对其进行压缩。这包括压缩单个文档的内容以及整体过滤文档。
所需组件
要实现上下文压缩检索，你需要以下组件：
- 基本检索器
- 文档压缩器
上下文压缩检索器向基本检索器传递查询，获取初始文档并通过文档压缩器处理。文档压缩器通过减少文档内容或者完全丢弃文档来缩短文档列表。
代码示例
我们将展示如何使用FAISS实现简单的向量存储检索器，并在其上应用上下文压缩。
# Helper function for printing docs
def pretty_print_docs(docs):
print(
f"\n{'-' * 100}\n".join(
[f"Document {i+1}:\n\n" + d.page_content for i, d in enumerate(docs)]
)
)
# 初始化向量存储检索器
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
documents = TextLoader("state_of_the_union.txt").load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)
retriever = FAISS.from_documents(texts, OpenAIEmbeddings()).as_retriever()
docs = retriever.invoke("What did the president say about Ketanji Brown Jackson")
pretty_print_docs(docs)
# 添加上下文压缩
from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import LLMChainExtractor
from langchain_openai import OpenAI
llm = OpenAI(temperature=0)
compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
base_compressor=compressor, base_retriever=retriever
)
compressed_docs = compression_retriever.invoke(
"What did the president say about Ketanji Jackson Brown"
)
pretty_print_docs(compressed_docs)
使用API代理服务提高访问稳定性
常见问题和解决方案
- 性能问题: 在某些情况下，上下文压缩可能会导致延迟增加。解决方案是通过嵌入过滤器等更轻量的压缩方法来减少LLM调用。
- 准确性问题: 文档压缩器可能会删除重要的信息，确保适当的过滤和排序策略，以提高结果准确性。
总结和进一步学习资源
上下文压缩不仅可以提高检索效率，还可以显著降低运行成本。通过合理使用压缩器和过滤器，你可以有效地优化复杂查询的处理过程。
进一步学习资源：
参考资料
- LangChain Documentation
- OpenAI API Documentation
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
