如何在查询分析中管理多个检索器

# 引言

在进行查询分析时，可能会遇到需要选择不同检索器的情况。选择合适的检索器可以提高信息检索的效率和准确性。本文将通过一个简单的示例（使用模拟数据）展示如何实现这一功能。

# 主要内容

## 环境设置

### 安装依赖

首先，我们需要安装必要的库。

```bash
# %pip install -qU langchain langchain-community langchain-openai langchain-chroma

设置环境变量

这里我们使用OpenAI进行示例。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter your OpenAI API Key: ")

# 选择性开启LangSmith追踪
# os.environ["LANGCHAIN_TRACING_V2"] = "true"
# os.environ["LANGCHAIN_API_KEY"] = getpass.getpass("Enter your Langchain API Key: ")

创建索引

我们将对虚假信息创建一个向量存储。

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

texts_harrison = ["Harrison worked at Kensho"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore_harrison = Chroma.from_texts(texts_harrison, embeddings, collection_name="harrison")
retriever_harrison = vectorstore_harrison.as_retriever(search_kwargs={"k": 1})

texts_ankush = ["Ankush worked at Facebook"]
vectorstore_ankush = Chroma.from_texts(texts_ankush, embeddings, collection_name="ankush")
retriever_ankush = vectorstore_ankush.as_retriever(search_kwargs={"k": 1})

查询分析

使用函数调用结构化输出，并返回多个查询。

from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

class Search(BaseModel):
    query: str = Field(..., description="Query to look up")
    person: str = Field(..., description="Person to look things up for. Should be `HARRISON` or `ANKUSH`.")

output_parser = PydanticToolsParser(tools=[Search])
system = "You have the ability to issue search queries to get information to help answer user information."
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", "{question}")])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)

structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm

# 使用API代理服务提高访问稳定性
query_analyzer.invoke("where did Harrison Work")
query_analyzer.invoke("where did ankush Work")

使用查询分析进行检索

创建逻辑选择检索器并传递查询。

from langchain_core.runnables import chain

retrievers = {
    "HARRISON": retriever_harrison,
    "ANKUSH": retriever_ankush,
}

@chain
def custom_chain(question):
    response = query_analyzer.invoke(question)
    retriever = retrievers[response.person]
    return retriever.invoke(response.query)

# 使用API代理服务提高访问稳定性
custom_chain.invoke("where did Harrison Work")
custom_chain.invoke("where did ankush Work")

常见问题和解决方案

• 网络访问问题：由于网络限制，可能需要使用API代理服务来提高访问稳定性。
• 检索器选择错误：确保逻辑判断正确，以匹配合适的检索器。

总结和进一步学习资源

本文展示了如何在查询分析中选择合适的检索器。可以深入学习LangChain文档和OpenAI API指南以获取更多信息。

参考资料

1. LangChain Documentation
2. OpenAI API Reference

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---