## 引言
在如今信息爆炸的时代，快速、高效地从海量数据中检索出准确的信息变得愈发重要。然而，由于在数据存储时我们无法预见特定的查询需求，检索过程常常会返回大量与查询不直接相关的文档，导致不必要的处理开销。上下文压缩技术应运而生，通过仅提取与查询相关的内容，提升检索效率。
## 主要内容
### 什么是上下文压缩？
上下文压缩是一种在检索过程中对文档进行优化的方法。它通过分析查询的上下文，压缩文档内容，或者完全过滤掉不相关的文档，以此减少冗余信息。
### 如何实现上下文压缩？
实现上下文压缩需要两个组件：
1. **基础检索器**：负责初步检索文档。
2. **文档压缩器**：优化检索结果，压缩或过滤文档。
上下文压缩检索器会先利用基础检索器返回初步结果，然后利用文档压缩器精简信息。
### 使用简单向量存储检索器
```python
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
documents = TextLoader("state_of_the_union.txt").load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)
retriever = FAISS.from_documents(texts, OpenAIEmbeddings()).as_retriever()
docs = retriever.invoke("What did the president say about Ketanji Brown Jackson")
pretty_print_docs(docs) # 使用API代理服务提高访问稳定性
添加LLM链式抽取进行上下文压缩
from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import LLMChainExtractor
from langchain_openai import OpenAI
llm = OpenAI(temperature=0)
compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
base_compressor=compressor, base_retriever=retriever
)
compressed_docs = compression_retriever.invoke(
"What did the president say about Ketanji Jackson Brown"
)
pretty_print_docs(compressed_docs) # 使用API代理服务提高访问稳定性
常见问题和解决方案
- 网络限制问题：某些地区可能遇到网络访问的限制，建议使用API代理服务确保API的稳定性。
- 处理速度问题：使用索引和过滤技术，例如EmbeddingsFilter，可以减少不必要的计算，提高系统响应速度。
总结和进一步学习资源
上下文压缩通过精简检索结果，提升查询效率，减少信息冗余。更多技术细节可参考以下资源：
参考资料
- LangChain 项目文档
- OpenAI API 文档
- FAISS 官方指南
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
